The Korean Society Of Automotive Engineers

Current Issue

Transactions of the Korean Society of Automotive Engineers - Vol. 28 , No. 12

[ Article ]
Transactions of the Korean Society of Automotive Engineers - Vol. 28, No. 11, pp.817-826
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Nov 2020
Received 19 Aug 2020 Revised 12 Oct 2020 Accepted 12 Oct 2020
DOI: https://doi.org/10.7467/KSAE.2020.28.11.817

자율주행자동차의 추돌 회피를 위한 교통사고분석 및 기계 학습 기반 위험 시나리오 생성 연구
이지민 ; 정의인 ; 송봉섭*
아주대학교 기계공학과

Critical Scenario Generation for Collision Avoidance of Automated Vehicles Based on Traffic Accident Analysis and Machine Learning
Jimin Lee ; Ui-in Jung ; Bongsob Song*
Department of Mechanical Engineering, Ajou University, Gyeonggi 16499, Korea
Correspondence to : *E-mail: bsong@ajou.ac.kr


Copyright Ⓒ 2020 KSAE / 180-09
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼

Abstract

In this paper, the critical scenario generation method for the scenario-based approach is proposed to validate collision avoidance systems on autonomous vehicles. Along with three abstraction levels of scenarios for the safety of the intended functionality(SOTIF), as proposed by a PEGASUS project in Germany, critical scenarios based on fatal traffic accidents in Korea were analyzed statistically. Then, the collision scenario model, including all critical scenarios, is proposed to generate logical scenarios systematically. Since the high dimension of parameters in a logical scenario results in a combinatorial explosion of concrete scenarios, it is quite necessary to search for appropriate scenarios. Therefore, many safe scenarios were omitted by applying for a series of conditions based on time-to-collision and support vector machines. Finally, It is shown how scenarios can be generated to validate an automatic emergency braking system, and the critical scenarios are searched out via the proposed generation procedure.


Keywords: Collision scenario, Collision avoidance, Functional safety, Validation, Machine learning
키워드: 충돌 시나리오, 충돌 회피, 기능 안전, 검증, 기계 학습

1. 서 론

최근 들어서 글로벌 자동차 회사뿐만 아니라 IT기업, 차량공유기업 등 많은 기업들이 자율주행자동차를 개발하고 있으며 실 도로 주행을 통해서 기술의 안전성을 검증하고 있다.1,2) 하지만 3단계 이상 자율주행 기술의 안전성 검증을 위한 주행거리 기반의 성능검증은 경제적/시간적으로 한계가 있는 것으로 알려져 있다.3) 또한 세계적으로 자율주행 시 사망사고나 교통사고가 지속적으로 보고되고 있다.4)

이러한 실 도로 주행 테스트 기반 검증 방법의 한계점을 보완하기 위해서 시나리오 기반 접근 방법이 제안되고 있다. 우선 시나리오 기반 접근방법은 Fig. 1에서 보는 바와 같이 발생 확률에 따라 크게 일반(Typical), 위험(Critical), 그리고 특이(Edge case) 시나리오로 구분하고 있다.5) 일반적으로 위험 시나리오의 경우 신차평가프로그램(NCAP)과 같은 자율주행 1 또는 2단계, 즉 운전자지원시스템(ADAS)을 평가하기 위한 목적으로 이미 활용되고 있으며 특이 시나리오의 경우 자율주행자동차의 알고리즘 오류 또는 한계성으로 사고가 발생하는 시나리오를 포함한다. 현재 특이 시나리오의 경우 체계적인 테스트 시나리오를 도출하는 방법론을 거의 찾기 어려우며 자율주행차의 사고 사례 보고를 통하여 시나리오를 축적하고 있는 실정이다.


Fig. 1 
Classification of scenarios based on probability5)

ADAS 및 자율주행자동차의 안전성을 테스트하기 위한 시나리오 생성은 현재 교통사고 데이터를 기반으로 위험 시나리오를 대부분 도출하고 있다. 하지만 우리나라의 경우 교통사고 데이터를 기반으로 위험 시나리오를 상세히 도출하는 연구를 찾아보기 어려우며 이러한 위험 시나리오를 도출하기 위해서는 우선 교통사고를 통계적으로 분석하기 위한 시나리오의 분류가 필요하다. 즉, 위험 시나리오에 따라 교통사고 데이터를 분석하기 위해서는 시나리오의 정의가 필요하다. 예를 들어서, 미국 NHTSA에서는 Pre-crash 시나리오를 37개로 정의하고 있으며 자율주행을 위한 시나리오로 확대되고 있다.6-8) 유럽의 경우 iGLAD라는 312개의 시나리오 정의를 제안하고 있으며9) 최근에는 ASAM에서 시나리오 정의 표준화를 위하여 OpenSCENARIO 2.0이 제안되고 지속적으로 개발되고 있다.10)

다음으로 교통사고 데이터 분석을 통하여 도출된 위험 시나리오를 3단계의 추상화 레벨(Functional, logical, concrete)로 구분하여 상세 시나리오를 생성하는 과정을 독일 PEGASUS 프로젝트에서 제안을 하고 있다.9) 기능안전 표준인 ISO 26262가 하드웨어와 소프트웨어의 고장 검출 및 검증을 위한 것이라면 ISO/PAS 21448에서 ADAS나 자율주행의 의도된 기능(Intended functionality)이 다양한 환경 또는 시나리오에서 안전하게 구현이 되는지를 검증하는 Safety of the intended functionality (SOTIF)가 활발하게 논의되고 있다. 이러한 SOTIF에서도 시나리오를 생성하는 구체적인 방법론을 마련하고 이를 문서화해야 한다고 명기가 되어 있지만 실질적인 방법론이 제시되어 있지는 않다. 대부분 주어진 위험(Critical and logical) 시나리오에 대해서 상세(Concrete) 시나리오를 어떻게 생성할 것인가 하는 문제를 소개하고 있다. 즉, 상세 시나리오를 표현하기 위한 변수의 개수, 상수 공간(Parameter space)과 이를 통해서 생성되는 상세(Concrete) 시나리오 수가 급격하게 증가하는 문제가 새롭게 등장하였다.

예를 들어서, Fig. 2에서 보는 바와 같이 OpenSCE-NARIO에서 제안하는 끼어들기 시나리오를 상세(Concrete) 시나리오로 표현하기 위해서 정적 조건(Stationary condition)과 트리거(Trigger)로 구분하여 상수 공간(Parameter space)을 표현하고 있다. 트리거에 해당하는 끼어들기(Cut-in) 시점을 자차(Ego)와 상대차량(TSV#1)간의 거리(distEOLC)로 설정하였다. 또한, 정적 조건으로 자차의 속도(vA), 상대차의 속도(vB), 그리고 끼어들기를 위한 Offset(δ)과 거리(lcut-in), 궤적(Shape)이 주어져야 한다. 또한 위험 상황을 재현하기 위해서는 상대차의 속도가 감속하는 상황을 고려하기 위해서 상대차의 감가속도(acut-in)가 추가적으로 고려되어야 한다. 끼어들기 상황의 경우 위에서 언급한 값을 정의하기 위해서 6개의 상태 변수(N)를 고려한다면 상세 시나리오 개수는 다음과 같은 곱의 형태(Pair-wise combination)로 결정된다.


Fig. 2 
An example of cut-in scenario in OpenSCENARIO 2.010)

SN=distEOLC×vA×vB×δ×lcut-in×acut-in(1) 

만약에 상세(Concrete) 시나리오를 생성하기 위해서 각 변수당 주어진 구간에서 균일한 간격으로 5개의 상수를 선정한다면 시뮬레이션을 위한 시나리오 수는 56으로 15,625개의 시나리오가 도출되고 시나리오당 10초의 시뮬레이션 시간이 소요된다면 43시간이 걸릴 것으로 예상된다.12) 더 나아가, 도로의 곡률반경, 자차의 횡방향 위치 등 변수(N)를 추가하게 된다면 57 또는 58개의 시나리오로 기하급수적으로 증가(Combinatorial explosion)하게 된다. 이러한 시나리오 기반 검증의 확장성에 대한 문제를 해결하고자 Monte Carlo 시뮬레이션에 기반한 검증 가속화를 위한 방법도 활발하게 연구되고 있다.13,14) 하지만 이러한 검증 가속화에 대한 연구가 기본(Logical) 시나리오를 도출하는 방법론과 결합이 되어 있지는 않다.

본 연구에서는 한국에서 발생한 교통사고를 통계적으로 분석하여 기본(Logical) 시나리오를 도출하였다. 더 나아가 자율주행자동차 사고사례 일부 포함하여 테스트 시나리오(Test scenario suite)를 도출하고 제안하고자 한다. 다음으로는 자동긴급제동(Automatic emergency brake, AEB) 시스템을 기반으로 한 위험 시나리오 탐색 과정과 시나리오 탐색에 대한 평가 지표를 제안하고자 한다. 특히 적용 사례(User case)로 끼어들기 시나리오에 대해서 중점적으로 살펴보고자 한다.


2. 위험 시나리오 생성

국내 교통사고 데이터를 분석하여 사망사고 중심으로 위험(Critical) 시나리오를 선정하였다. 이를 충돌 시나리오 모델을 기반으로 확장한 테스트 시나리오(Test scenario suite)를 제시한다. 최종적으로 차량 시뮬레이션까지 수행할 수 있는 상세(Concrete) 시나리오 생성 과정을 설명하고자 한다.

2.1 교통사고 기반 위험 시나리오

사고 시나리오를 도출하기 위하여 연구목적으로 공개된 국내 교통사고 분석 시스템(TAAS) 내 2012년부터 14년까지 차대차 사망 사고 데이터를 분석하였다.15) 3년간 총 14,624건의 사망사고 중 38.5 %인 5,636건의 차대차 사고를 우선적으로 선정하고 이 중 승용차, 승합차, 화물차 사고만을 대상으로 2,477건을 선정하였다. 이를 대상으로 Table 1에서 보는 바와 같이 정면충돌, 측면직각충돌, 진행 중 추돌, 그리고 주・정차 중 추돌로 충돌 유형(Collision type)을 구분할 수 있으며 도로 상황을 비교차로(Non-junction)와 교차로(Junction)로 구분하여 TAAS에서 제공하는 분류체계에 따라 사고 통계를 산출할 수 있다.

Table 1 
Statistics of vehicle-to-vehicle collision on Korean road in 2012~2014
Collision type Non-junction (NJ) Junction (JN) Sum
Collision with oncoming vehicle 524 54 578
Collision with vehicle which turns into or crosses a road 139 428 567
Collision with vehicle moving ahead or waiting 335 26 361
Collision with vehicle which starts, stops or is stationary 372 131 503
Others 356 112 468
Sum 1,726 751 2,477

더 나아가, Fig. 3에서 보는 바와 같이 사고 개요를 통하여 미국이나 유럽에서 사용하고 있는 시나리오 정의에 따라 사고 통계를 산출할 수 있으며 지능형 안전시스템(ADAS)의 도입 시 발생할 수 있는 사회적 편익을 산출하는 목적으로 사용될 수 있다.16) 예를 들어 Fig. 3(a)(b)에서 보는 바와 같이 사고 개요를 통하여 충돌 시나리오를 구분할 수 있는 경우도 있지만 Fig. 3(c)에서 보는 바와 같이 정보가 불충분한 경우도 존재하여 2,477건 중 1,760건을 충돌 시나리오 데이터로 선정하였다. 다음으로 유럽 iGLAD의 시나리오 정의를 기반으로 Table 2에서 보는 바와 같이 사고 통계 분석을 수행하였다.17) 총 33개의 iGLAD 시나리오로 1,760건의 충돌 시나리오를 구분할 수 있음을 보여주고 있다.


Fig. 3 
Examples of fatal accident description

Table 2 
Statistics of vehicle-to-vehicle collision scenario
Collision type Road iGLAD Freq. (%)
C1 Collision with
oncoming vehicle
NJ 681/682/543 16.1/12.7/0.9
JN 543/681 <0.7
C2 Collision with
vehicle which
turns into or
crosses a road
NJ 635/646
561/571/645/722/721
2.1/1.2
<0.7
JN 321/211/301
/302/351
202/231/232/251
/252/261/262/303
/322/323/352/722
5.1/4.9/4.3
/2.4/2.0
<0.5
C3 Collision with
vehicle moving
ahead or waiting
NJ 601 16.9
JN 601/201 <0.7
C4 Collision with
vehicle which
starts, stops or is
stationary
NJ 621/501/741
502/701
8.7/5.8/4.4
<0.7
JN 621/501 <6.1

2.2 충돌 시나리오 모델

Table 2에서 도출된 33개의 충돌 시나리오는 PEGA-SUS 프로젝트에서 제안하는 Functional 시나리오 생성 방법론에 따라 크게 도로와 동적 물체(Movable objects)로 구분할 수 있다.9) 사고 데이터의 87.5 %에 해당하는 14개의 충돌 시나리오 대해서 우선 비교차로(Non-junction, NJ)와 교차로(Junction, JN)로 구분을 하고 있지만 좀 더 상세 구분을 할 수 있다. 예를 들어서, 미국 NHTSA에서는 운행 설계 범위(Operational design domain)를 설정하기 위한 분류체계를 제안하고 있으며 도로(Physical infra-structure)의 경우도 상세하게 분류하는 체계를 제안하고 있다.6) 본 연구에서는 다음에서 설명할 상세 시나리오 도출을 위하여 TAAS 데이터를 기반으로 도출한 기본(Logical) 시나리오를 좀 더 확대하기 위한 충돌 시나리오 모델을 제안하고 이를 통하여 테스트 시나리오(Test scenario suite)를 도출하고자 한다.

우선 동적 물체를 자차(A)와 상대차(B)로 구분하고 차량의 거동(Maneuver)을 기반으로 구분하는 충돌 시나리오 모델을 제안하고자 한다. Table 3에서 보는 바와 같이 기존의 충돌유형(Collision type)과 iGLAD의 분류를 자차(A) 거동 4종류와 상대차(B) 거동 5종류를 정의한 모델에 대입할 수 있음을 보여주고 있다. 필요시 비워져 있는 시나리오에 대하여 새롭게 생성을 할 수도 있다. 예를 들어서, 상대차량이 정차(SP)한 상황에 대해서 차선변경 시나리오를 구성할 수 있다. 교차로 사고의 경우 Table 4에서 보는 바와 같이 자차와 상대차의 거동을 5가지(LK의 경우 3종류를 포함하고 있음)와 5가지로 각각 설정하여 iGLAD의 충돌 시나리오보다 좀 더 상세하게 구분할 수 있음을 보여주고 있다.

Table 3 
Collision scenario model on non-junction road
A Lane keeping (LK) Lane
change (LC)
B Accel. Cruise Decel.
C1 Oncoming (OC)
C2 Lane following
(LF)
C3
C4 Stop (SP)
Park (PK)
Start (ST)

Table 4 
Collision scenario model on junction road
A Lane
keeping (LK)
Left turn (LT)
Right turn (RT)
B
C2 Coming from left (CL)
Coming from right (CR)
Oncoming (OC)
Turn left (TL)
Turn right (TR)

다음으로 충돌 시나리오 모델에서 도출된 기본 시나리오를 Table 5에서 보는 바와 같이 좀 더 상세한 테스트 시나리오(Test scenario suite)로 도출하는 과정이 필요하다. 우선 사고시나리오는 GPS정보를 가지고 있으며 지도정보와 매칭을 하여서 다양한 도로 환경을 고려할 수 있다. 예를 들어서, 갓길 주행 중 끼어들기에 의한 사고(Fig. 3(b) 참조)의 경우, 지도정보와 매칭 하면 Fig. 4(a)와 같이 도로 형태 정보를 확인할 수 있으며 이를 기반으로 Fig. 4(b)와 같이 가상환경(Virtual environment)을 구성할 수 있다. 이러한 도로형태를 고려하여 Table 5에서는 R2로 도로 환경을 구분하고 곡선로나 합류로 등 다양한 도로 환경을 추가할 수 있다.18)

Table 5 
Test scenario suite of frontal collision scenario (601)
B LF Cut-in (CI) Cut-out (CO)
A
R1 Lane keeping
  (LK)
- Accelerating
- Cruising
- Decelerating
R2


Fig. 4 
Example of scenario for the fatal accident in Fig 3(b)

마지막으로 시나리오 601에 해당하는 교통사고의 경우 실질적으로 급격한 끼어들기(Cut-in) 후에 추돌사고가 발생하거나(Table 5의 601-b, c 참조), 갑작스러운 앞차의 차선변경(Cut-out) 후 전방 정지차량과의 추돌로 이어지는 경우(Table 5의 601-f, g 참조) 등을 포함하고 있다. 예를 들어 601-f 시나리오의 경우 Tesla Autopilot의 자율주행 모드 시 발생한 사망사고 시나리오를 포함한다. Table 5에서 완전한(Complete) 테스트 시나리오를 보여주고 있지는 않지만 국내 교통사고 데이터를 iGLAD 시나리오로만 구분하기 보다는 Table 35에서 보는 바와 같이 충돌 시나리오 모델을 사용함으로써 좀 더 구체적이고 확장 가능한 기본(Logical) 시나리오를 생성할 수 있음을 보여주고 있다.

2.3 상세 시나리오

충돌 시나리오 모델 기반으로 생성된 위험 시나리오를 상세 시나리오로 도출하기 위해서는 우선 선정된 시나리오를 표현하기 위한 중요 변수(Impact parameter)가 필요하다. 본 연구에서는 Fig. 2에서 보는 바와 같이 OpenSCENARIO에서 정의한 차량에 대해서 정적 조건(Stationary condition, SC)과 트리거(Trigger, TR)로 구분하여 Table 6와 같이 선정하였다.

Table 6 
Parameter space for LK-CIL scenario
Param. Range (unit) Param. Range (unit)
SC vA [30 110] (km/h) vB [30 110] (km/h)
TR Rcut-in [10 110] (m) Δtcut-in [1 5] (sec)
acut-in [-9.81 3.92] (m/s2) ylc [w/2 3w/2] (m)

주어진 범위에 대하여 Fig. 4(c)(d)에서 보는 바와 같이 다양한 충돌 상황이 발생함을 알 수 있다. 또한, Fig. 5에서 보는 바와 같이 Table 6의 주어진 변수 값에 따라 다양한 형태의 끼어들기가 고려되고 있음을 보여주고 있다. 논문에서 모든 상세 시나리오를 위한 변수를 명시하고 있지 않지만 Table 5의 테스트 시나리오를 위해서는 Table 6의 변수가 확대 적용되고 있음을 언급하고자 한다.


Fig. 5 
Cut-in trajectories of vehicle B in LK-CIL scenarios


3. 위험 시나리오 탐색

식 (1)에서 살펴본 바와 같이 상수 공간(Parameter space)을 등 간격(Even space)으로 구분하여 생성한 상세 시나리오의 수는 고려된 상수의 수에 따라 기하급수적으로 증가한다. 따라서, 본 장에서는 시뮬레이션을 수행해야 하는 상세 시나리오의 개수를 줄여 검증 효율을 높이는 방법론을 제안하고자 한다. 이를 위해서 우선 검증을 위한 시스템이 선정되어야 하며 본 연구에서는 시뮬레이션을 수행하기 위해서 IPG CarMaker와 MATLAB을 사용하였고,11) CarMaker에 내장되어 있는 AEB 시스템을 주어진 검증 알고리즘으로 선정하였다. 이 시스템의 성능을 검증하기 위한 상세 시나리오 탐색 방법을 살펴본다.

3.1 횡방향 상수 공간의 탐색

긴급자동제어 시스템은 크게 추돌 경로 상에 차량이 존재하는지를 판단하는 기능과 실제 추돌이 일어나는지를 판단해서 제동 여부를 판단하는 기능으로 나눌 수 있다. 우선 횡방향 상수공간 탐색에서는 추돌 경로 상에 차량이 존재하는지 판단하는 성능을 분석하고자 한다. 이를 위해서 우선 두 가지 관점으로 시뮬레이션에서 생성된 시나리오를 탐색하고자 한다.

  • ① 초기 조건 설정의 적합성
  • ② 추돌 외 충돌 시나리오의 최소화

초기 조건 설정의 적합성의 경우, Table 6에서 정의한 LK-CIL 시나리오를 위한 초기 조건으로 상대차량(B)의 횡방향 이동거리(ylc)와 끼어들기 수행시간(Δtcut-in) 간의 정합성을 확인해야 한다. 예를 들어서, 주어진 횡방향 이동거리는 최대 횡방향 이동거리보다 작아야 한다는 다음과 같은 정합성 조건을 이용할 수 있다.

y=ymax-ylc>0(2) 

여기서 ymax는 Kamm’s circle model을 기반으로 다음과 같다.20)

ymax=12amaxtcut-in2

이러한 조건을 사전에 이용한다면 시뮬레이션을 수행하는 시나리오의 수는 다음과 같다.

SNS1~=Rcut-in×vA×vB×f1ylc,tcut-in,acut-in   =5×5×5×113=14,125(3) 

여기서 시뮬레이션의 감소 비율(Ratio)을 다음과 같이 정의할 수 있다.

γ=S1~SN=f1ylc×tcut-in,acut-inylc×tcut-in×acut-in=14,12515,625(4) 

다음으로 AEB의 추돌 경로 상의 차량 판단 성능을 분석하기 위해서 AEB가 작동되는 횡방향 상대거리의 경계 조건을 탐색하고자 한다. 이는 정의된 상수공간에 대한 분석을 통해 상수들의 한계값을 탐색하는 과정을 설명하고자 하며, 경계 조건의 재정의를 통한 탐색 방법은 본 연구에서는 고려하지 않았다. 끼어들기(Cut-in) 시나리오에 대해서 Fig. 6에서 보는 바와 같이 도로의 형태, 즉 직선로와 곡선로(ST/CV)를 고려하였고 곡선로에 대해서 다시 왼쪽/오른쪽 끼어들기의 방향(CIL/CIR)을 고려하였다. 세 종류의 끼어들기 시나리오에 대해서 충돌 유무와 상관없이 AEB가 작동될 때 상대차량의 횡방향 위치에 대한 경계 조건을 탐색하기 위하여 Fig. 7과 같이 누적분포(Log-plot)로 나타냈다. 도로형태(직선/곡선) 및 곡선로에서 끼어들기 방향에 따라 AEB의 작동시점이 달라지고 있음을 확인할 수 있다. 예를 들어서, Fig. 7의 누적 분포 90 %에 해당하는 횡방향 위치 값은 LK-CIL-ST, LK-CIR-CV, LK-CIL-CV에서 각각 1.6, 1.6, 1.4(m)이며 통계적 관점에서 작동시점이 다름을 보여주고 있다. 본 연구에서는 AEB 알고리즘을 블랙박스(Black-box) 모델로 가정하고 검증 및 평가를 수행하고 있으며 상대차가 주행경로 상에 있는지에 대한 판단을 위해서 도로의 형태와 끼어들기의 방향에 따라 판단 결과가 달라지고 있는 특성을 가지고 있음을 확인할 수 있다. 최종적으로 누적분포 100 %에 대해서는 Fig. 7에서 보는 바와 같이 세 시나리오에 대해서 0.9(m)의 최솟값(yAEB)을 가지며 이를 바탕으로 Table 6ylc의 경계영역을 탐색할 수 있다.


Fig. 6 
Cut-in scenarios when the AEB is activated with considerations of road geometry and cut-in direction


Fig. 7 
Cumulative relative frequency distribution of relative lateral position to vehicle B when the AEB is activated

또한 AEB의 작동범위를 고려하여 Frontal collision이 아닌 시나리오를 제외하고자 기계학습기반의 분류 기법 중 하나인 Soft margin SVM(Support Vector Machine)을 사용하였다. 분류기준은 Fig. 4와 같이 Frontal과 Others로 구분하였으며 SVM의 조건은 다음과 같은 형태로 이용하였다.

minimize ω2+CξSubject to ωxi+b1-ξiξi>0(5) 

볼록 최적화 프로그램인 CVX를 이용하여 식 (5)ω를 최소화하면 다음과 같은 경계조건을 유도할 수 있다.

ωx+b<0(6) 

여기서 ωb는 경계조건을 위한 상수이며 x는 [Δtcut-in TTC(tcut-in) ylc]T이다. 또한, TTC(tcut-in)은 다음과 같이 정의한다.

TTCtcut-in=RcivA-vBaci0-vA-vB2-2Rciaci-vA-vBaciotherwise(7) 

Fig. 8에서 확인할 수 있듯이 Others에 해당하는 영역에 대한 경계를 확인할 수 있으며, 이는 LK-CIL-ST뿐만 아니라 LK-CIL-CV, LK-CIR-CV, LK-CIR-ME에서 각각 적용할 수 있다. 첫번째 학습 후 LK-CIL-CV 시나리오에 경계조건을 적용하였을 때 경계조건을 위배하는 Frontal collision의 데이터를 다시 학습데이터에 추가하여 경계조건을 재 탐색하였다. 이때, 식 (6)을 만족하는 시나리오수는 다음과 같다.


Fig. 8 
Frontal and others collision scenarios with respect to parameter space (LK-CIL-ST,LK-CIL-CV)

S2~=f2Rcut-in,vA,vB,ylc,tcut-in,acut-in=11,275(8) 
3.2 종방향 상수 공간의 탐색

AEB에서 추돌 경로 상에 차량이 있다고 판단한 후 다음 단계로 실제 추돌이 일어나는지를 판단해서 제동 여부를 판단한다. 전체 상세 시나리오에서 추돌이 발생하지 않거나 위험도가 낮은 시나리오를 탐색하기 위하여 우선 감속이 시작하는 거리(Rdec), 끼어들기가 시작하는 거리(Rcut-in) 등 트리거(TR)를 만족시킬 수 없는 초기 조건을 배제하고자 한다. 예를 들어, LK-LF나 LK-CIL 시나리오(Table 5의 A-B 시나리오 참조)에서 상대차량의 속도가 자차보다 크다면 트리거 조건을 만족하는 상황이 발생하지 않으므로 다음과 같은 조건을 고려한다.

R˙0=vB0-vA0<0(9) 

다음으로 AEB 성능평가를 위한 기본 시나리오인 LK-LF 시나리오에 대해서 Table 6에서와 같은 차량 속도를 사용하고 adec = [-9.81 -1.96]와 Rdec = [10 110]를 상수공간으로 설정하면 총 SN = 54 = 625 개의 시나리오가 생성된다. 이를 adecRdec의 변화에 따른 충돌속도(Impact speed) 대한 상관관계를 나타내기 위해서 상대차량이 감속하는 시점의 TTC를 다음과 같이 정의한다.

TTCtdec=-vA-vB2-2Rdecadec-vA-vBadec(10) 

여기서 tdecRdec의 트리거 조건을 만족해서 감속이 시작되는 시점을 뜻한다. 따라서, adecTTC의 변화에 따른 충돌속도를 Fig. 9과 같이 나타낼 수 있다. 식 (7)에 해당하는 영역은 TTC가 음수인 영역을 뜻하며 AEB의 작동유무와 상관없이 충돌이 발생하지 않는 경계조건을 선정하였다. 분류의 기준은 충돌속도가 영인 경우와 아닌 두가지로 나누어지는데, 항상 안전한 영역의 시나리오를 제외하고자 한다. 따라서 SVM의 조건은 종방향 탐색에서 이용했던 식 (5)을 이용하였다. Fig. 9에서 볼 수 있듯이 SVM으로 항상 안전한 영역을 2개의 경계조건으로 결정하였다.


Fig. 9 
Impact speed with respect to TTC and aB

즉, 종방향 시나리오의 탐색은 다음 2가지 조건에 의해서 결정할 수 있다.

TTCtdecε1,aBε2(11) 

여기서 경계 값 ε1, ε2는 각각 2.52, -6.86이다. 이를 다시 Parameter space 영역에서 가장 가까우며, 사고 시나리오를 포함하지 않는 값인 3, -5.88로 경계 값을 결정하였다. 이때, 식 (9)(11)의 조건을 만족하는 시나리오 수는 다음과 같다.

S3~=f3vA,vB,Rdec,aB=160(12) 
3.3 시나리오 탐색 결과 및 평가

최종적으로 Table 5에서 제안된 테스트 시나리오에 대해서 좌우측 대칭 시나리오의 중복성을 제외하고 6개의 테스트 시나리오(Test scenario suite)를 대상으로 Table 7과 같이 CarMaker 내에 주어진 AEB의 성능 평가를 진행하였다. AEB의 성능 평가를 위해서는 주요 성능 평가 인자(Key performance index)를 우선적으로 정의해야 한다. 일반적으로 NCAP에서는 AEB의 성능 평가를 위하여 몇 개의 평가 시나리오를 정의하고 이에 대해서 충돌 유무와 충돌 속도를 기반으로 평가가 이루어지고 있다. 하지만 본 연구에서는 자율주행으로 진화하기 위해서 다양한 시나리오에 대해서 AEB의 성능의 한계(Critical/edge case) 시나리오를 탐색하는 것이 본 연구의 목적이다. 따라서 시나리오 탐색 관점에서 다음과 같이 평가 지표를 설정하였다.

Table 7 
Performance classification to test and reduced scenarios
Scenario Concrete
scenarios
(ratio)
Safe Unsafe
Maneuver
(A-B)
Road AEB
on
AEB
off
Frontal
collision
Others
AEB on
LK-LF
(N = 4)
ST 160
(0.26)
55
(0.38)
0 105
(1.00)
0
LK-CIL
(N = 6)
ST 2,740
(0.18)
679
(0.30)
1,048
(0.09)
928
(0.89)
85
(0.73)
LK-CIL
(N = 6)
CV 4,283
(0.27)
835
(0.69)
1,663
(0.13)
1,532
(0.99)
253
(0.85)
LK-CIR
(N = 6)
CV 4,283
(0.27)
881
(0.70)
1,257
(0.10)
1,880
(0.98)
265
(0.81)
LK-CIR
(N = 6)
MG 4,283
(0.27)
759
(0.67)
1,576
(0.13)
1,721
(0.96)
227
(0.72)
LK-COL
(N = 6)
ST 2,945
(0.19)
1,535
(0.32)
0 899
(1.00)
511
(0.05)
Sum (mean) 18,784
(0.24)
4,834
(0.45)
5,544
(0.11)
7,065
(0.97)
1,341
(0.12)

  • ① AEB의 작동이 필요없는 안전 시나리오 개수의 최소화
  • ② 추돌(Frontal collision) 발생 시 AEB의 작동 여부
  • ③ 추돌 외 충돌(Others) 발생 시나리오의 최소화

우선 위 첫 번째 평가 지표에 의거하여 시뮬레이션 결과에서 충돌이 발생하지 않은 시나리오와 발생한 시나리오를 Safe와 Unsafe로 구분하였다. 더 나아가 Safe 시나리오의 경우 다시 AEB가 작동되는 시나리오와 작동되지 않은 시나리오, 즉 AEB on과 off로 구분을 하였다. 다음으로 두 번째와 세 번째 평가 지표를 위하여 Unsafe 시나리오를 다시 추돌(Frontal collision) 시나리오와 이외 충돌(Others) 시나리오로 구분을 하였다. 마지막으로 최소화에 대한 정량적 평가를 위하여 식 (4)에서 제안한 시뮬레이션 감소 비율(γ)을 사용하였다.

첫 번째 평가 지표를 위하여 Table 7과 같이 상세 시나리오를 전체 상세 시나리오(78,750개)를 18,784개로 초기 대비 24 % 수준으로 줄였음을 보여주고 있다. 특히 Safe 시나리오의 경우 AEB가 작동될 필요가 없는 시나리오(AEB off)에 대해서 89 %(γ=0.11)의 불필요한 시뮬레이션이 축소되었음을 보여주고 있다. AEB가 작동되어 충돌을 막아주는 시나리오의 경우도 전체 해당 시나리오의 45 %(γ=0.45)만을 수행하여 시뮬레이션의 효율성을 높이고 있음을 보여주고 있다.

다음으로 AEB는 추돌(Frontal collision)만을 방지하는 것을 목적으로 한다는 가정하에 두 번째 평가 지표를 정의하였다. 충돌 부위를 좀 더 상세하게 분류할 수 있지만 Fig. 4(d)와 같이 추돌 외 충돌 시나리오는 Others로 분류하였다. Table 7에서 보는 바와 같이 Unsafe 시나리오 중 추돌 시나리오의 경우 모두 AEB가 작동(AEB on)되었음을 확인할 수 있다. 따라서 주어진 테스트 시나리오에 대해서 AEB의 작동범위(ODD)가 추돌 시나리오에서만 작동되게 설계되어 있다는 가정을 모두 만족시킴을 확인할 수 있다. 여기서 더 나아가 충돌 속도(Impact speed)를 기반으로 AEB 알고리즘에 대한 성능평가를 추가할 수 있으나 본 연구에서는 시나리오 선정 및 탐색 관점의 평가를 설명하고자 이러한 후속 평가 지표는 본 논문에서 고려하지 않았다. 마지막으로 세 번째 평가지표에 대해서 상세 시나리오 중 12 %만을 수행하여 시뮬레이션의 효율이 높아졌음을 보여주고 있다(Table 7 참조).

Fig. 10(a)에서는 AEB 평가를 위한 기본 시나리오인 LK-LF 시나리오에 대해서 Unsafe/frontal collision 시나리오에 대해서 AEB가 작동되는 시점(tAEB)에 대한 TTC의 분포를 보여주고 있다. 또한, Fig. 10(b)에서는 Table 7의 6개 시나리오에 대한 전체 TTC 분포를 보여주고 있다. 우선 Fig. 10(a)와 (b)에서 보는 바와 같이 시나리오의 추가 또는 확대에 따라 TTC(tAEB)의 분포가 0.18~2.6에서 0~2.6으로 넓어졌음을 보여주고 있다. Fig. 10(a)에서 볼 수 있듯이 LK-LF 시나리오에서 위험도가 높은 영역의 시나리오의 빈도수가 상대적으로 낮다. TTC 0.8 s 이하 영역의 시나리오 비율이 약 10 % 정도이고, 특히 0.18 s 이하의 시나리오들이 생성되지 않았음을 알 수 있다. 이는 LK-LF 시나리오에서는 트리거 조건에 도달하기 전에 자차의 AEB가 작동하여 일정 수준 이하의 위험 조건을 생성하기 어렵기 때문이다. 횡방향 모션을 가진 LK-CIL과 LK-COL 시나리오에서 위험 영역을 보완함을 보여주고 있다.


Fig. 10 
Distribution of TTC(tAEB) for scenarios

시나리오 탐색을 통해서 줄어든 Unsafe/frontal collision 시나리오를 기반으로 Fig. 10에서 LK-LF 시나리오와 다른 모든 시나리오에 대해서 TTC(tAEB)와 충돌속도(vimpact)의 정규화된 분포를 보여주고 있다. Fig. 10(b)Fig. 11(a)를 비교하면 Table 7에서 배제된 시나리오(3 %)가 없는 것처럼 거의 동일한 형태임을 확인할 수 있다. 더 나아가, Fig. 10(b)에서 보는 바와 같이 시나리오의 추가를 통하여 더욱 다양한 충돌 속도 분포를 보여주고 있음을 알 수 있다. 여기서 충돌속도가 음수인 영역은 충돌하는 순간 상대차량이 측방에서 가속하며 끼어드는 시나리오를 포함하고 있어 나타나고 있으며, 이는 실제 교통상황에서도 발생할 수 있는 시나리오이다. 탐색을 통해 생성된 시나리오는 향후에 AEB 알고리즘의 캘리브레이션 및 성능개선을 위한 위험(Critical/edge case) 시나리오로 분류할 수 있으며 본 논문에서는 이러한 시나리오를 적절히 탐색할 수 있음을 보여주었다.


Fig. 11 
Result of test scenarios generation


4. 결 론

자율주행 및 충돌회피 시스템 개발 및 검증을 위하여 국내 교통환경을 고려한 위험 시나리오(Critical scenario)를 체계적으로 도출하는 과정을 제안하였다. 더 나아가 이를 기반으로 생성된 상세 시나리오에 대하여 충돌이 발생하거나 AEB가 동작되는 경계조건의 탐색을 통하여 시뮬레이션의 수를 효율적으로 줄여서 알고리즘을 평가하는 방법론을 제안하였다. AEB와 같은 특정 시스템을 선정하고 끼어들기 상황을 중점적으로 방법론에 적용한 예를 보여주고 있지만 더욱 다양한 시나리오로 확장할 수 있으며 이와 관련된 연구가 지속적으로 제안될 것으로 예상이 된다.

또한 이렇게 체계적으로 위험 시나리오를 도출한 결과는 ADAS의 성능검증을 가속화하는 방법으로 발전할 것으로 기대한다. 뿐만 아니라 향후에 딥러닝이나 기계학습과 같이 데이터 기반 접근방법을 사용하여 자율주행을 위한 위험도 판단 알고리즘을 개발하는 주요 학습데이터로 사용함으로써 개발과 검증이 상호 보완적인 관계로 발전하는 개발 모형에 핵심적인 역할을 할 것으로 예상된다.


Nomenclature
x, y : longitudinal, lateral position, m
v : vehicle velocity, m/s
a : vehicle acceleration, m/s2
acut-in : longitudinal acceleration for cut-in, m/s2
R : relative distance or range, m
w : width of lane, m
Δtcut-in : time period for cut-in, s

Subscripts
L, R : left, right lane
x, y : longitudinal, lateral direction
A, B : ego, primary (preceding) vehicle
cut-in, lc, dec : cut-in, lane change, decelerating

Acknowledgments

이 연구는 2020년도 산업자원통상부 및 산업기술평가관리원(KEIT) - 자동차산업핵심기술개발 사업의 연구비 지원(20000316, 긴급조향제어를 위한 딥러닝 기반 상황 인지 및 판단 기술 개발)에 지원을 받아 수행하였음.


References
1. General Motors, Self-Driving Safety Report, https://www.gm.com/content/dam/company/docs/us/en/gmcom/gmsafetyreport.pdf, 2018.
2. Waymo Safety Report, On the Road to Fully Self-Driving, https://waymo.com/safety/, 2018.
3. W. Wachenfeld and H. Winner, The Release of Autonomous Vehicles, Springer, Heidelberg, pp.425-449, 2016.
4. National Transportation Safety Board, Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Highway Accident Report NTSB/HAR-19/03, 2019.
5. W. G. Najm, J. D. Smith and M. Yanagisawa, Pre-crash Scenario Typology for Crash Avoidance Research, National Highway Traffic Safety Administration, No.DOT-VNTSC-NHTSA-06-02, 2007.
6. E. Thorn, S. Kimmel and M. Chaka, A Framework for Automated Driving System Testable Cases and Scenarios, Report No.DOT HS 812 623, NHTSA, Washington, D.C., 2018.
7. J. Bakker, H. Jeppsson, L. Hannawald, F. Spitzhuttl, A. Longton and E. Tomasch, “IGLAD - International Harmonized In-depth Accident Data,” Enhanced Safety of Vehicle Conference, Paper No. 17-0248, 2017.
8. T. Menzel, G. Bagschik and M. Maurer, “Scenarios for Development, Test and Validation of Automated Vehicle,” IEEE Intelligent Vehicle Symposium, pp.1821-1827, 2018.
9. H. Winner, K. Lemmer, T. Form and J. Mazzega, “PEGASUS - First Steps for the Safe Introduction of Automated Driving,” Road Vehicle Automation 5, pp.185-195, Springer, 2019.
10. G. Amid, ASAM OpenSCENARIO: Version 2.0.0 Concepts, https://www.asam.net/project-detail/asamopenscenario-v20/, ASAM, 2020.
11. IPG Automotive, CarMaker Reference Manual Version 7.0.2, IPG Automotive GmbH, 2014.
12. M. Tatar, Chasing Critical Situations in Large Parameter Spaces, Autonomous Vehicle Test & Development Symposium, https://www.pegasusprojekt.de/en/lectures-publications, 2018.
13. D. Zhao, X. Huang, H. Peng, H. Lam and D. J. LeBlanc, “Accelerated Evaluation of Automated Vehicles in Car-Following Maneuvers,” IEEE Transactions on Intelligent Transportation Systems, Vol.19, No.3, pp.733-744, 2018.
14. D. Zhao, H. Lam, H. Peng, S. Bao, D. J. LeBlanc, K. Nobukawa and C. S. Pan, “Accelerated Evaluation of Automated Vehicles in Lane-Change Scenarios Based on Importance Sampling Techniques,” IEEE Transactions on Intelligent Transportation Systems, Vol.18, No.3, pp.595-607, 2017.
15. Traffic Accident Analysis System, http://taas.koroad.or.kr, KoROAD, 2017.
16. J. Kang and B. Song, “Potential Safety Benefit Analysis of Cooperative Driver Assistance System via Vehicle-to-vehicle Communications,” The Journal of The Korea Institute of Intelligent Transport Systems, Vol.17, No.2, pp.128-141, 2018.
17. IGLAD, IGLAD Codebook, http://www.iglad.net, 2019.
18. P. Rau, C. Becker and J. Brewer, “Approach for Deriving Scenarios for Safety of the Intended Functionality,” ESV Conference, Paper No.19-0258, 2019.
19. K. Lee and H. Peng, “Evaluation of Automotive Forward Collision Warning and Collision Avoidance Algorithms,” Vehicle System Dynamics, Vol. 43, No.10, pp.735-751, 2007.
20. W. Wachenfeld, P. Junietz, R. Wenzel and H. Winner, “The Worst-Time-To-Collision Metric for Situation Identification,” IEEE Intelligent Vehicles Symposium, 2016.