The Korean Society Of Automotive Engineers

Transactions of the Korean Society of Automotive Engineers - Vol. 31 , No. 7

[ Article ]
Transactions of the Korean Society of Automotive Engineers - Vol. 31, No. 7, pp. 503-511
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Jul 2023
Received 10 Feb 2023 Revised 14 Apr 2023 Accepted 19 Apr 2023
DOI: https://doi.org/10.7467/KSAE.2023.31.7.503

정밀도로지도 기반 자율주행 테스트베드용 VILS 시스템 구현
이원종1) ; 기석철*, 2)
1)충북대학교 스마트카협동과정
2)충북대학교 지능로봇공학과

Implementation of VILS Systems for Autonomous Driving Testbed Based on HD Map
Wonjong Lee1) ; Seok-Cheol Kee*, 2)
1)Department of Smart Car Engineering, Chungbuk National University, Chungbuk 28644, Korea
2)Department of Intelligent Systems and Robotics, Chungbuk National University, Chungbuk 28644, Korea
Correspondence to : *E-mail: sckee@chungbuk.ac.kr


Copyright Ⓒ 2023 KSAE / 212-03
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼

Abstract

High-definition map(HD map) is gaining importance and usability as a key materials for an automated driving systems. HD map performs the task of predicting road conditions and minimizing hazard situations by accurately identifying the localization of autonomous vehicles in hazard situations such as bad weather, GNSS shaded areas, and sensor failures. So, we concentrate on importance and usability, we assert to verify the implementation of the Vehicle-in-the-Loop Simulation (VILS) systems through the control accuracy of the autonomous vehicle by making our own HD map for the PG. The HD map, autonomous vehicle systems and VILS systems were successfully manufactured on the testbed which located in Ochang, Chungbuk National University and based on this, a method to experimentally prove by using autonomous driving car, Niro EV in the Urban and Circulation sector of testbed is presented.


Keywords: VILS, HD map, Automated driving systems, Proving ground, Control accuracy
키워드: 실차 평가 시뮬레이션, 정밀도로지도, 자율주행시스템, 주행시험장, 제어 정확도

1. 서 론

자율주행차의 기술이 나날이 발전함에 따라 소비자가 접하게 되는 자율주행 신기능들이 고도화되고 있다. 하지만 이는 언제까지나 보조적인 기능에 제한되어 있으며, 향후 자동화 수준이 상향됨에 따라 자율주행 중 시스템 오류와 작동 범위 이탈 등 안전문제가 예상되고 있다. SAE J3016_2018와 ISO 227361)에서는 ADS의 자동화 수준을 6단계로 구분하고 있으며, ADS는 자율주행 중 시스템 오류와 작동 설계 영역 ODD2) 이탈 등의 긴급상황 발생을 감지하여 사고 위험을 최소화할 수 있는 비상조치를 수행하도록 권고하고 있다. 이처럼 자율주행 기술 발전과 더불어 자율주행차의 자동운전 불능 및 기타 요인들을 검출하고 복잡한 자율주행 시스템을 검증하기 위해 시나리오 기반 평가 시스템 기술의 중요성이 강조되고 있으며, 이를 만족하기 위해서 다양한 수준의 시뮬레이션 기술이 연구되고 있다. 본 논문에서는 정밀도로지도 기반 자율주행 테스트베드용 VILS 시스템 구현 방법에 대해서 제안하고자 한다.

VILS 시스템은 완전 자율주행이 포함된 기능을 구현하는 데 필요한 시스템 중 하나로, 완전 자율주행 시스템을 구현하기 위해 자율주행 시스템의 안전성을 검증하고 평가하는 것이 무엇보다 중요하다. 현재 국내외 완성 차 업체의 실차 테스트 전 시뮬레이션에서 모의실험을 구축하고 차량의 성능을 검증함으로써 그 한계를 줄여 나가고 있다. 시뮬레이션 기반의 평가 시스템으로는 HILS, SILS, VILS로 나눌 수 있다. VILS 시스템은 차량의 ECU, Chassis Dynamo를 이용하여 정지된 위치에서 가상의 환경을 차량 주변에 영사장치 등 장비를 활용하여 구현하는 방법3)과 실제 차량은 도로 위에서 주행하되, 구현된 시나리오를 가상환경으로 구현하고 그 데이터를 차량 제어용 시스템과 연결하여 구현하는 방법4)이 있다. 본 논문에서 구현한 VILS 시스템은 후자의 방법으로 Fig. 1과 같이 구현되었다. 이는 전자의 VILS 시스템 대비 실제 주행 가능한 환경에서의 실질적 자율주행 시나리오의 검증이 가능하므로 타 VILS 시스템과 차별화를 두었다.


Fig. 1 
VILS systems implementation results

정밀도로지도는 악천후 기상, GNSS 음영지역, 센서 고장 등의 자율주행 기능 고장 및 위험 상황에서 자율주행차량의 위치를 정밀하게 파악하여 도로상황을 예측하고 위험 상황을 최소화하는 임무를 수행한다. 이처럼 자율주행차의 기본 인프라인 정밀도로지도를 자체 구축할 수 있도록 선행 연구를 진행한 바 있다. 정밀도로지도 기반의 자율주행 시스템을 구축하기 위해서 MMS 장비가 필수적이다. 이는 GNSS, INS, Lidar, Camera 센서 등을 장착한 형태로 도로 주변 지형지물에 대한 다양한 정보를 담고 있어 재래형식의 지도와 달리 그 활용성이 높다. 국내에서는 정부 기관 중 하나인 국토지리정보원에서 제작을 담당하고 있으며,5) 기업체에서의 연구 또한 활발하다. 정밀도로지도 기반 경로계획뿐만 아니라 지도 데이터 기반 ITS 구축과 더불어, 지도 표준화 및 구축·제작을 위한 지도 표준 최적화 연구, 지도 유효성 검사, 활용성 검증6)과 같은 다양한 연구 분야들이 있다. 이러한 연구 분야 이외에도 최근 개최되는 자율주행 대회에서 참가팀들의 다양한 공간정보 활용과 자율주행 자동차의 전역 경로 및 지역 경로계획을 위해 주로 응용되고 있으며 센서 융합 및 인지 분야의 한 부분으로써 그 구실을 하고 있다.

정밀도로지도는 운전자 개입이 거의 없는 Level 4 이상의 고도 자율주행을 실현하기 위한 필수 요소로 자리잡고 있다. 고도의 위치 정밀도를 갖는 자차 측위 기술이 자율주행차의 성능과 수준을 판가름할 수 있는 중요한 지표로 자리잡고 있는 가운데, 공사 구간이나 사고 발생 정보 등 시시각각 변화하는 도로 사정을 반영한 동적 정보를 제공할 수 있는 국제 표준규격의 LDM 등이 논의되고 있다.7)


2. 자율주행 테스트베드용 정밀도로지도 구축

본 장에서는 이러한 정밀도로지도의 중요성 및 활용도에 초점을 맞추어 정밀도로지도를 구성하는 벡터데이터와 점군데이터를 자체 구축하는 방법과 그 과정을 서술하고자 한다. 국토지리정보원의 정밀도로지도 제작 메뉴얼의 제작 순서를 참고한 Fig. 2의 제작 단계 중 첫 번째인 작업계획 수립을 통해 제작 구역을 확정 후, 차량 등의 이동체에 GNSS, INS, Lidar 센서를 탑재하여 도로 노면 및 주변에 있는 지형지물의 위치와 시각정보를 취득한다. 이후 주행 데이터 수집과 표준자료 제작 및 최종 지도 데이터 작성은 벡터데이터의 선제 구축으로 제작이 가능하였다.


Fig. 2 
HDmap making process

2.1 벡터데이터 기반 지도 제작

벡터데이터의 선제 구축은 점군데이터 제작 이전의 참고 자료로 활용할 수 있도록 Fig. 3의 순서로 데이터 수집을 통한 검증이 가능하였다. GNSS 센서기반으로 취득된 초기 주행 데이터를 활용하여 주행 경로선을 제작한다. 제작된 주행경로선은 차선의 중심을 기준으로 수동 주행한 데이터를 활용한다. 주행경로로부터 수집된 주행 데이터를 경도와 위도로 나누어 분류한 후 데이터를 공간정보시스템 중 하나인 QGIS를 활용하여 Fig. 3의 좌측 이미지와 같이 주행경로에 대한 초기 벡터데이터를 생성하였다. 이렇게 취득된 데이터 기반으로 1차 벡터데이터 생성을 통해 지도 신뢰성 검증은 Fig. 3의 우측 사진과 같이 초기 주행 테스트를 통해 진행되었다. 벡터데이터의 기본 좌표계는 전 지구 좌표시스템 중 하나인 WGS84 좌표계를 사용한다.


Fig. 3 
GNSS raw data marking for link parsing

2.2 점군데이터 기반 지도 제작

주행경로 이외의 차선정보, 노면표시, 신호등, 횡단보도 등 주변 지형 지물을 포함한 데이터를 생성하기 위해 Lidar 센서로부터 수집된 데이터를 활용하여 정밀도를 높이는 과정으로 진행되었다. Hesai Pandar 40M Lidar 센서 및 Novatel Pwrpak7D-E2(Table 1의 (a)) GNSS 센서와 정밀도를 높이기 위한 보정신호 수신기인 RTK(Table 1의 (b))를 기반으로 수집된 데이터는 GICP8) 및 NDT 알고리즘9)을 통해 누적된 점군데이터를 지도형식인 Fig. 5와 같이 제작한다. 각 프레임별로 수집된 스캔 데이터를 정합하는 과정을 GICP 알고리즘을 거쳐 모든 점에 대한 정합 오차를 계산하기보다 특징이 될 만한 특징점 추출을 우선으로 정합을 시도한다. 이를 통해 면과 점을 정합할 수 있을 뿐만 아니라 불필요한 연산을 배제할 수 있는 장점이 있다. 이후 NDT 알고리즘을 통해 3차원 공간에서 Voxel 단위의 공간 인덱싱을 거쳐 각 점군들의 3D 가우시안 분포로 근사화 시켜 지도를 생성하게 되는데 이는 다른 알고리즘 대비 빠른 계산속도를 만들어 내는 것이 특징이다.

Table 1 
Specification of GNSS, RTK sensor for localization
(a) Novatel PwrPak7D-E2
Accuracy (RMS) RTK / 1 cm + 1 ppm
Size 125 × 55 × 560 mm (W × H × D)
SPAN enabled enclosure featuring NovAtel’s tightly coupled GNSS+INS engine
Features Multi-frequency, multi-constellation GNSS receivers offering flexible positioning options and ease of integration
INS data rates up to 200 Hz
(b) SYNEREX MRD-1000T
Power DC 5V/ 1A (microUSB)
Size 46.5 × 97.4 × 24 mm (W x H x D)
GNSS RTK dongle for GNSS receiver owners
Features L1/L2 Braodcast RTK data receive function
Extract the RTCM rover data corresponding to the location of the device
Built in GPS localization

이렇게 제작된 점군데이터 지도는 Fig. 4와 같으며 특징점 추출 이미지인 Fig. 5와 같이 변환이 가능하다. 벡터데이터 지도의 정확도를 높임과 동시에 GNSS 센서로 수집할 수 없는 도로경계 부분, 가드레일, 도로를 구성하는 기타 요소들에 대한 정밀 위치 참조로 활용할 수 있기 때문이다. 점군데이터의 기본 좌표계는 미터 단위의 UTM 좌표계를 사용하였다.


Fig. 4 
3D spatial map making using point cloud data for testbed


Fig. 5 
Image plane 2D map data based point cloud data

이미지 좌표계 기반 평면 지도데이터를 제작하기 위해서 좌표계 변환이 필요한데, 점군데이터의 UTM 좌표계를 벡터데이터에 대응할 수 있는 WGS84 좌표계로 변환한다. Fig. 4의 점군데이터를 기반으로 X, Y, Z축에 대응하는 0.25 m 크기의 정육면체 형태로 샘플링된 지도를 제작한 후, 대응된 UTM-이미지 좌표계 쌍으로 데이터 값을 Intensity로 하는 이미지를 생성한다. 크기와 이동 변환만을 Fig. 6의 T 행렬로 사용하여 벡터데이터 제작의 기준이 되는 WGS84 좌표로 변환한다. 여기서 T 행렬은 WGS84 좌표계와 이미지 좌표계 간의 변환식에 활용하도록 계산된 행렬이다. 이렇게 변환된 Fig. 6의 WGS image map은 QGIS 기능 중 하나인 Georeferencer의 배경 이미지로 삽입할 수 있다. 이미지 각 꼭짓점에 대응하는 X 및 Y 좌표를 Georeferencer에 대응하도록 변환된 Table 2의 이미지 좌표인 Source X, Y와 경위도 좌표 Dest. X, Y로 변환하면 1차 구축된 벡터데이터의 하위 레이어로써 Lidar 특징점 추출 이미지를 활용할 수 있다. 이 레이어를 배경으로 1장에서 제작한 벡터데이터 기반 지도에 Fig. 7과 같은 배경 이미지로 삽입하게 되어 GNSS 센서로부터 수집하기 어려운 차선, 도로경계, 가드레일 등 도로 특징을 표식 할 수 있다.


Fig. 6 
Map transformation and QGIS Georeferencer

Table 2 
Georeferencer image coordinate system pair table
GCP table
ID Source X Source Y Dest. X Dest. Y dX dY
0 0 0 127.43884 36.731256 0 0
1 3466 0 127.44571 36.731256 0 0
2 0 -3704 127.43884 36.723816 0 0
3 3466 -3704 127.44571 36.723816 0 0


Fig. 7 
Image map with satellite

2.3 최종 지도데이터 작성 및 제작

2.2장의 특징점 추출 이미지 기반으로 세부 도화 및 구조화 편집을 거치면 신호등과 횡단보도를 나타낸 Fig. 8과 같은 정밀도로지도의 구축 항목인 Table 3과 같이 구성할 수 있다. 국내 정밀도로지도 제작 기관인 국토지리정보원에서 제공하는 정밀도로지도 제작 매뉴얼5)을 참고하여 표준자료 기반의 다양한 환경에서의 자율주행을 위한 지도 구축항목을 만족하도록 하였다. 특징점 추출 이미지 기반으로 세부도화 및 주행경로선의 정밀 도화를 거친 Shape 파일 형식의 데이터는 Fig. 9와 같다. Table 3에 정의된 구축항목인 주행경로링크와 노면선표시, 노면표시 및 신호등 등 모든 레이어를 표식한 결과이다.


Fig. 8 
Traffic light sector(left), crosswalks and road markings(right)

Table 3 
Construction items for HD map
Construction items Definition
(1) Node Describe the connection point of Link.
(2) Link Describes a portion of the travel route. Since the driving route refers to a virtual route line that an autonomous vehicle can refer to in the driving process, a link that is part of it may include attribute information for a specific lane.
(3) Surfacelinemark Describes the road surface marking (Surfacemark indicated by lines) as a detailed type of safety sign. In general, it includes an indication indicating regulations (lane, stop line, etc.) related to driving.
(4) Surfacemark As a detailed type of safety sign, a road surfacemark (not a line type) is described.
(5) Trafficlight Description of traffic lights as traffic safety facilities. For specific types and classifications of traffic lights, refer to the contents of the traffic safety sign list.


Fig. 9 
Marks of all layers of the testbed’s HDmap(left) and a map with satellite map background inserted(right)

노드(주행경로선 상의 점), 링크(노드의 연결선) 종속성 연결을 통한 정밀도로지도 특성을 반영한 최종 지도는 테스트베드에서 자체적인 검증 과정인 종·횡방향 제어를 활용하여 Fig. 10처럼 정밀위치 참조 여부 및 정밀도로지도의 오류를 검증하는 방식으로 검증하였다.


Fig. 10 
Test evaluation with longitudinal and lateral control inputs for verification of driving in correct way and lane keeping


3. VILS 시스템 구축 및 평가

VILS는 가상 모의환경에서 실제 환경을 모사한 구역에서 실제 차량과 연동을 통해 여러 가지 실차 평가 및 검증을 수행할 수 있는 시뮬레이션 방법의 하나로10) MILS, SILS, HILS 등 기존 평가방법과 다르게 실차의 위치, 차속, 전륜 휠 각도, 물체 인지 정보 등을 주고받고 주변 환경과 상호 작용하며 구동되는 것이 특징이다. 제안하는 VILS 시스템의 구성도는 Fig. 11과 같다. Fig. 11 좌측의 가상환경에 설치된 Lidar센서를 통해 가상환경의 물체인지 정보를 우측의 실차로 수신한다. 실차기반의 Localization 및 자체 자율주행 AV Platform 알고리즘을 통해 생성된 자율주행차의 정보를 Network Interface인 UDP 통신을 통해 가상환경 시뮬레이터에 전달하게 된다.


Fig. 11 
VILS configuration for testbed

3.1 제안하는 테스트베드용 VILS 시스템 설계
3.1.1 VILS 시스템 개요 및 실험 환경 구축

VILS는 시험 운전자가 차량에 탑승하여 가상 모의환경에서 다양한 실차 성능 테스트를 수행할 수 있는 시스템을 의미한다.11) 시험 운전자는 안전과 직결되는 ADS 성능을 검증하고 나아가 증강현실과 같은 가상환경을 통해 자율주행차의 실제 주행 상황에 시뮬레이션 주행 요소를 추가하여 운전자가 원하는 방식의 자율주행 시나리오를 테스트할 수 있는 장점이 있다. 논문에서 활용한 자율주행 테스트베드는 Fig. 12와 같으며, 충북대학교 융합기술원 C-track을 활용하였다. 도심 자율주행 기술 서비스를 제공하는 국내 대학 최대 규모의 테스트베드로써 자율주행 시험 및 실험을 위한 다양한 인프라를 구축하고 있으며, 총 연장 1.4 km의 순환구역과 보행자 테스트 및 입체교차로 테스트를 위한 도심 구역, 기타 로봇 장비 등의 활용을 위한 응용구역으로 나누어져 있다. VILS 시험동과 관제센터 등 연구지원을 위한 시설도 갖춰져 있는 것이 장점이다. 폐쇄된 형태의 자율주행 테스트베드의 장점을 활용하여 공도에서 구현하기 어려운 시나리오들을 검증할 수 있고 도로에서 벌어지는 다양한 시나리오들을 실질적으로 평가할 수 있는 최적의 테스트베드이다. 고도 자율주행 기술의 안전성을 평가하기 위해 자체적으로 정밀도로지도를 제작하게 되었으며 이를 기반으로 가상환경 시뮬레이터와 자율주행 실차가 연동되는 VILS 평가 환경을 구축할 수 있었다.


Fig. 12 
C-track bird’s eye view(left) and satellite map(right)

3.1.2 VILS 시스템을 위한 정밀도로지도 활용

본 논문에서 제안하는 VILS 시스템은 자율주행차량 Niro EV 차량과 MORAI 시뮬레이터와 연계하여 구축되었는데, 정밀도로지도를 활용하여 MORAI 시뮬레이터 내의 테스트베드용 맵을 제작할 수 있었다. 정밀도로지도의 주행경로(Link) 및 차선정보(SurfacelineMark)를 자율주행을 위한 전역경로 및 지역 경로계획에 활용하였다. 이를 기반으로 MORAI 시뮬레이터의 Ghost 시뮬레이션 기능을 활용하여 실차의 위치 및 차량 속도, 조향각도 등을 시뮬레이터 입력으로 투영하였다. 투영된 실차의 위치와 가상환경의 Ego 차량은 정확도 검증이 완료된 정밀도로지도를 시뮬레이션 제작에 활용하였기 때문에 실차 모사가 가능함을 보였다.

3.1.3 VILS 시스템과 실차 연동을 위한 세부 구성

시뮬레이터에 실제 환경에서 사용한 센서인 Lidar 센서를 실차 설계 위치를 Fig. 13과 같이 구성한다. 시뮬레이션 상의 가상 Lidar인 HDL-64 센서를 통해 인지된 가상환경의 물체들은 UDP 통신을 통해 차량 시스템의 물체 인식, 장애물 인식을 위한 전처리 데이터로 수신된다. 이렇게 수신된 데이터는 물체 인식의 결과로 보행자, 차량, 자전거 등을 분류하고 물체의 윤곽 점의 정보를 반환한다. 단일 차량과 다중 차량을 구분하기 위한 데이터 처리 알고리즘12)을 거친 결과는 차량의 종·횡 방향 제어를 위한 입력으로 사용된다. 여기서 활용된 인지 알고리즘은 실차 기반 실제 Lidar로부터 수집된 데이터를 처리하는 과정과 같다. 센서를 장착하고 시스템 구성을 위한 데이터를 송·수신하는 과정을 통해 위치 인식, 장애물 인식, 경로계획, 차량 제어, 장애물 위치예측 및 행동 판단의 구조로 구성된 자율주행 시스템13)은 테스트베드 환경에 최적화된 실차 기반 성능 최적화를 통해 운전자의 개입 없이 폐쇄구간 반복 실험이 가능함을 보였다. 이러한 실차 기반 성능 검증을 통해 시뮬레이션 가상환경에서 차선 병합, 주행경로 이탈 여부 등 후술할 정밀도로지도 제작 및 검증에 성공하였기 때문에 VILS 시스템 제작이 가능하였으며, 테스트베드 환경에서의 시스템평가 시뮬레이션을 구현할 수 있었다.


Fig. 13 
Lidar sensor attachment installed in actual vehicle design position

VILS 시스템과 MORAI 시뮬레이터는 기본적으로 ROS 환경에서 구동된다. ROS 하위 통신 기능 중 하나인 Rosbridge를 활용하여 실차에서 생성된 데이터를 Fig. 14의 EgoGhostCmd Topic을 통해 시뮬레이션 상의 Ego 차량에 전달한다. 실차의 위치인식을 위한 GNSS 센서 Novatel Pwrpak7D-E2와 자체 INS 센서 융합 데이터를 활용한 SPAN 기능14)을 MRD-1000T RTK 보정 센서를 통해 생성된 정밀한 자율주행차의 자차 위치를 자율주행 시스템의 UTM 단위의 좌표계로 변환15)한다. 여기서 변환된 자차 위치의 X, Y 좌표 및 전륜 휠의 조향각도 그리고 Yaw 각도를 차량의 기본 좌표계로 투영한다. GNSS 센서로부터 수신 받은 Novatel 메시지 중 차량의 위치 및 회전 데이터를 시뮬레이션 Ego 차량에 전달된다. 위치데이터는 차량에서 사용되는 UTM 단위의 좌표로 변환되어 자차의 X, Y위치로, 회전데이터는 및 Yaw 각도로 전달된다. 이와 함께 차량 CAN 데이터로부터 발생된 차속 및 조향각 등의 정보는 Table 4에 정의된 항목의 데이터로 시뮬레이터에 전달한다. 이렇게 수신된 차량의 위치 및 자세는 실차 위치 그대로 시뮬레이션에 투영된다.


Fig. 14 
Simulation-Real configuration of VILS systems

Table 4 
Received data from real vehicle at MORAI Simulator
No. Name Type Unit Remarks
1 Position float64 * 3 m Positioning of the ego vehicles (X, Y, Z)
2 Rotation float64 * 3 deg Specifying rotation of the ego vehicles (roll, pitch, yaw)
3 Velocity float64 kph Speed of the ego vehicles
4 Steering angle float64 deg Front wheel steering angle of the ego vehicles

3.2 HD Map 기반 VILS 시스템 검증

시뮬레이터와 연계한 정밀도로지도 응용 시뮬레이터 제작을 하기 위한 사전 검증을 기존에 구축된 타 실증구간 기반의 SILS 시스템을 기반으로 정밀도로지도의 데이터 전달 및 가상환경의 차량이 원활히 구동되는지 Fig. 15와 같이 확인할 수 있었다. 본 논문에서 활용한 테스트베드에서의 정밀도로지도 기반 VILS 시스템 구축을 평가하기 위해 자율주행차량 시스템의 종·횡방향 제어기를 원본 Yaw Rate 값의 LPF로 얻어진 Yaw Rate 값이 목표한 값에 추종하는 지와 실제 차속이 경로 계획으로부터 얻어진 목표 종방향 속도를 추종하는지 비교하고자 한다.


Fig. 15 
SILS test of the 4 types of demonstration section(CBNU, K-City, Sejong, Sangam)

3.2.1 차량 구성 및 경로계획

본 논문은 실차를 기반으로 한 VILS 시스템 평가로, 실험에 사용된 차량은 Fig. 16의 (a)와 같으며 Lidar, Camera, GNSS, 게이트웨이를 통한 CAN 제어기 및 차량제어용 산업용 PC가 설치되었다. 차량 제어시스템은 Fig. 16의 (b)와 같다. 경로계획을 위해 정밀도로지도의 차선정보를 이용하여 차량이 준수해야 하는 일종의 안전 범위를 설정한다. 정지선과 백색선, 황색 선, 청색 선 등 도로교통법에 따라 지켜야 할 차선의 정보를 차량에 알려주어 침범하지 않는 영역에서 전역 경로를 설정하였으며, 차량이 추종해야 할 주행경로의 경우 정밀도로지도의 경·위도 좌표점을 1 m 간격으로 보완하여 만약의 정밀도로지도 상 노드의 공백을 메꾸도록 하였다. 정밀도로지도 데이터의 기본 형식인 Shape 파일 형태를 쉼표 구분 파일 형식인 CSV로 변환한다. 변환된 데이터를 자율주행 시스템에 입력으로 하여 전역 경로를 위한 데이터로 활용된다. 전역경로는 사전에 주어진 핵심 통과지점을 명시한 자료를 기반으로 목표점까지의 최단거리를 정밀도로지도의 Link 기반으로 생성한다. 최단거리를 생성하기 위한 알고리즘은 다익스트라16) 알고리즘을 활용하였다. 전역경로 상에서 차선변경 상황을 위한 안전한 경로 설정을 위해 주변 충돌 위험 상황을 사전에 판단하여 안전한 차선변경을 유도한다. 지역 경로계획을 위한 Lattice Planner17), A* 알고리즘18)을 활용하여 장애물을 회피하고 기준 경로인 전역 경로계획을 추종하도록 생성한다. 회피 주행 상황에서의 제어기 성능을 보완하기 위해 경로 추종 시 전역 경로 데이터를 참조하여 자차 위치와 가장 근접한 점을 후보로 선택한다. 이 후보군을 대상으로 LAP를 산정한 횡방향 제어가 이루어지기 때문에 횡방향 제어기 성능의 의존도를 낮추는 방식으로 설계되었다.


Fig. 16 
Autonomous vehicle and autonomous driving systems

3.2.2 제어기를 통한 VILS 시스템 검증

차량 제어를 위한 종방향 가속도 제어 및 횡방향 스티어링 핸들 각도 정보가 입력된다. 본 논문에서 사용한 차량 횡방향 제어는 LAP 기반 스티어링 핸들 각도 제어, Yaw Rate를 활용한 SMC19)을 활용하여 원하는 경로를 안정적으로 추종하도록 하는 파라미터와 제어기를 설계하였다. Saturation 값의 경우 실험적인 결과를 토대로 코너 상황에서 조향이 과하게 조작되어 차선이나 연석을 밟지 않도록 하였으며, Lamda의 경우 Sliding Surface에서 LAP 에러의 비중을 조절하는 역할을 한다.

LAP의 error x~와 Yaw Rate의 error x~˙식 (1), 식 (2)로 표현 할 수 있으며 변위 x와 Control Input u, n=2 인 SMC 시스템 식 (3)로 표현할 수 있다. n차의 Sliding Surface는 식 (4)와 같이 정의할 수 있다.

x~=eLAP(1) 
  • where LAP: Look - Ahead Point
x~˙=eYawRate (2) 
x¨=f+u(3) 
  • where f : unknown but estimate from f^

여기서 f^f^-fF를 만족하며 추정 오차 f는 Constraint 함수 F에 의해 경계되는 것으로 가정한다.

s=ddt+λx~n-1(4) 

구하고자 하는 변위 xd를 통해 xxd 을 추종하기 위한 Sliding Surface를 식 (5)와 같이 정의할 수 있다.

s=ddt+λx~=x~˙+λx~s˙=f+u-xd¨+¨λx~˙(5) 

이렇게 설계한 횡방향 제어기로부터 얻어진 제어값을 통해 Fig. 17과 같이 Yaw Rate의 센서데이터에 2차 LPF를 적용하여 노이즈를 제거하도록 설계하였다.


Fig. 17 
Yaw angle noise elimination with 2nd LPF

차량 종방향 제어는 PID 제어기20)를 구현하여 사용하였으며 정밀도로지도의 차선 곡률 기반으로 속도 프로파일링을 통해 전방 도로정보에 의한 감속을 추종한다. 부드러운 속도 상승 및 감속을 할 수 있도록 제어기 이득 값을 실험적인 제어 값으로 설정하여 Fig. 18과 같이 구현되었다. 차량 속도에 의해 계산된 LAP의 기본 오프셋 거리의 보상 거리를 더해줘 감속해야 하는 상황에서 LAP를 능동적으로 설정하도록 하였다.


Fig. 18 
Longitudinal target velocity(blue) and convergent current velocity(red)

3.2.3 제어기 성능 분석을 통한 VILS 시스템 적용

Fig. 17Fig. 18은 테스트베드의 순환로 구간 약 1.4 km 구간 1회 주행을 횡방향 및 종방향 제어를 통해 추출한 데이터를 ROS 기능 중 하나인 Rqt_multiplot으로 표현한 결과이다. 차량의 CAN 데이터를 주고받기 위한 자체 제작 ROS 토픽인 Vehicle Can Topic의 수신시간을 x축으로 차량의 1회 주행 시간과 일치한다. 횡방향 제어기를 분석하기 위해 Fig. 17의 원본 Yaw Rate(적색)과 1차, 2차 LPF(하늘색, 흑색)를 y축의 데이터 값으로 표식하였다. 종방향 제어기를 위해 Fig. 18의 목표 종방향 속도 30 kph에서 경로계획으로부터 계산된 구간 별 감속 프로파일에 의해 출력 된 값(청색)과 차량의 현재 차속(적색)을 표식하였다. 위와 같은 종·횡방향 제어기의 결과 분석을 통해 제어기의 실시간 응답성이 경로계획에 맞게 차량이 제어가 되고 있음을 보였다. 정밀도로지도가 구축되지 않은 테스트베드에서의 정밀도로지도의 정밀도 검증과 더불어 VILS 시스템에 적용하기 위해 차량 제어 시스템이 구성되었는지 확인할 수 있는 기초적인 실험의 결과로 활용하였다.


4. 결 론

본 논문에서 제안한 VILS 시스템을 통해 1)정밀도로지도를 기반으로 구축된 테스트베드에서 정밀도로지도를 신뢰도 있는 지표로써 유효성을 실험적으로 검증 및 입증하였으며, 2)실차와 가상환경이 동기화 된 시스템을 구축하여 실시간성이 확보된 VILS 시스템을 구축할 수 있었다. 3)테스트베드용 VILS 시스템 제작 및 구성을 통해 Edge case 검증을 위한 실차 시스템 기반 시뮬레이션 평가가 가능하도록 Use case 제작을 목적으로 두었다. 향후 연구 계획으로는 제어기를 활용한 본 실험의 결과에 추가하여 VILS 시스템의 가상 장애물을 이용하여 시나리오를 적극 응용한 시뮬레이션 환경에 초점을 두어 연구를 진행할 수 있다. 추가로 ISO 21448(SOTIF)21) 표준에 맞도록 최소 위험상태22)를 구현할 수 있는 시나리오를 구성하고 자율주행 레벨 4 수준의 안전성 검증을 수행할 수 있는 인프라가 될 수 있음을 보일 수 있다.


Nomenclature
ADS : automated driving systems
ODD : operational design domain
VILS : vehicle-in-the-loop simulation
HILS : hardware-in-the-loop simulation
SILS : software-in-the-loop simulation
MILS : model-in-the-loop simulation
GNSS : global navigation satellite system
MMS : mobile mapping system
INS : inertial navigation system
Lidar : light detection and ranging
LDM : local dynamic map
WGS84 : world geodetic system 1984
RTK : real time kinematic
ROS : robot operating system
LPF : low pass filter
CAN : control area network
LAP : look-ahead point
SMC : sliding mode control

Acknowledgments

이 논문은 2023년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임(P0020536, 2023년 산업혁신인재성장지원사업).

본 연구는 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성(Grand ICT연구센터) 사업의 연구결과로 수행되었음(IITP-2023-2020-0-01462).


References
1. SAE International, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles, SAE Standard J3016, 2018.
2. I. Colwell, B. Phan, S. Saleem, R. Salay and K. Czarnecki, “An Automated Vehicle Safety Concept Based on Runtime Restriction of the Operational Design Domain,” 2018 IEEE Intelligent Vehicles Symposium (IV), pp.1910-1917, 2018.
3. UNECE Wiki, VMAD-26th SG2 Session–Transport–Vehicle Regulations, https://wiki.unece.org/display/trans/VMAD-26th+SG2+session
4. W. Son, Y. Ha, T. Oh, S Woo, S. Cho and J. Yoo, “PG-Based Vehicle-In-the-Loop Simulation for System Development and Consistency Validation,” Electronics, Vol.11, No.24, Paper No.4073, 2022.
5. NGII, HDmap Construction Manual, https://www.ngii.go.kr/kor/contents/view.do?sq=1195&board_code=contents_data, 2019.
6. Y. Na, S. Kim, Y. Kim, J. Park, J. Jeong, K. Jo, S. Lee, S. Cho, M. Sunwoo and J. M. Oh, “HD Map Usability Verification for Autonomous Car,” Transactions of KSAE, Vol.28, No.11, pp.797-808, 2020.
7. S. C. Kee, 2022 Domestic and Foreign Location Information Industry Trend Report August Issue, KISA, 2022.
8. A. V. Segal, D. Haehnel and S. Thrun, “Generalized-ICP,” Robotics : Science and Systems, Vol.2, No.4, pp.435, 2009.
9. W. Wen, L. -T. Hsu and G. Zhang, “Performance Analysis of NDT-based Graph SLAM for Autonomous Vehicle in Diverse Typical driving Scenarios of Hong Kong,” Sensors, Vol.18. No.11, pp.3928, 2018.
10. J. Jung, M. Ko, B. Kwon, D. Moon and J. Hong, “Configuration of VILS with Digital Twin-based Simulator,” KSAE Fall Conference Proceedings, pp.1168-1174, 2021.
11. S. Lee, J. Kim and S. C. Kee, “An Implementation Plan of VILS Systems for Verification and Validation of Autonomous Driving Scenario in a Virtual Environment,” ICROS 2019, pp.73-75, 2019.
12. R. Ravindran, M. J. Santora and M. M. Jamali, “Multi-object Detection and Tracking, based on DNN, for Autonomous Vehicles: A review,” IEEE Sensors Journal, Vol.21, No.5, pp.5668-5677, 2020.
13. C. Park, D. Lee, J. Jeong, W. Lee and S. C. Kee, “Hyundai Autonomous Vehicle Challenge: An Autonomous Driving System Study based on CarMaker Simulator to the Real-Vehicle Autonomous Driving,” KSAE Spring Conference Proceedings, p.410, 2021.
14. S. Kennedy, J. Hamilton and H. Martell, “Architecture and System Performance of SPAN-NovAtel’s GPS/INS Solution,” Proceedings of IEEE/ION PLANS 2006, pp.266-274, 2006.
15. R. Welch and A. Homsey, “Datum Shifts for UTM Coordinates,” Photogrammetric Engineering and Remote Sensing, Vol.63, No.4, pp.371-375, 1997.
16. E. W. Dijkstra, A Note on Two Problems in Connexion with Graphs, Edsger Wybe Dijkstra: His Life, Work, and Legacy (1st ed.), Association for Computing Machinery, New York, NY, USA, 2022.
17. M. Pivtoraiko, R. A. Knepper and A. Kelly, “Differentially Constrained Mobile Robot Motion Planning in State Lattices,” Journal of Field Robotics, Vol.26, No.3, pp.308-333, 2009.
18. F. Duchoň, A. Babinec, M. Kajan, P. Beňo, M. Florek, T. Fico and L. Jurišica, “Path Planning with Modified a Star Algorithm for a Mobile Robot,” Procedia Engineering, Vol.96, pp.59-69, 2014.
19. C. Edwards and S. Spurgeon, Sliding Mode Control: Theory and Applications, Crc Press, 1998.
20. M. A. Johnson and M. H. Moradi, PID Control, London, UK: Springer-Verlag London Limited, 2005.
21. Y. Zhang, G. Lintern, L. Gao and Z. Zhang, “A Study on Functional Safety, SOTIF and RSS from the Perspective of Human-Automation Interaction,” SAE 2021-01-0858, 2021.
22. K. Balakrishnan, “Functional Safety Concept of “Minimum Risk Maneuver” in Conditional Driving Automation (Level 3) Vehicles,” SAE 2022-28-0301, 2022.