OpenSCENARIO 기반 자율주행 시나리오 형식 변환 및 정합성 검증 방법론

2.1 자율주행 시뮬레이션

자율주행 시스템은 복잡한 주행 상황을 고려한 검증 절차가 수반되어야 하므로 시뮬레이션을 활용한 검증 방법이 중요한 역할을 한다. 시뮬레이션 검증은 모델, 소프트웨어, 하드웨어에 단계적으로 적용되며 이 검증 프로세스를 통해 실제 차량에서 위험을 동반하는 테스트를 수행할 수 있고 많은 시간이 소요되는 테스트를 자동화하는 등 다양한 작업에 적용될 수 있다. 본 절에서는 자율주행 시스템 개발을 가속화하는 자율주행 시뮬레이션 검증 프로세스에 대해 소개한다.

2.2 OpenSCENARIO

ASAM OpenX는 자율주행차 검증을 위한 시나리오 제작의 표준으로서 통일화 된 시나리오 제작 방식을 통해 자율주행차 개발 및 검증에 참여하는 업체 간의 효율적인 협력을 제공한다. 표준화된 시나리오 설명 언어를 사용하는 것은 서로 다른 시스템 간 상호 운용성을 확보하여 데이터 공유에 드는 시간 및 비용을 줄일 수 있다는 점에서 중요하다. OpenX는 도로 표면 정보를 포함하는 OpenCRG, 도로 네트워크를 설명하는 OpenDRIVE, 시나리오의 동적 요소를 설명하는 OpenSCENARIO, 시뮬레이션 인터페이스인 OSI, 자율주행 차의 ODD(Operational Design Domain)를 정의하는 OpenODD, 시뮬레이션 핵심 도메인 모델인 OpenXOntology, 객체와 시나리오 주석을 정의하는 OpenLABEL로 구성¹⁰⁾되어 있다.

이 중 본 논문에서 핵심적으로 다루는 OpenSCENARIO는 차량, 보행자를 포함한 교통 환경 참여자들의 거동 및 상호 작용을 정의하고 있어 시나리오 설명의 핵심이 되는 부분이다. OpenSCENARIO는 Fig. 1과 같이 7개의 부분으로 구성된다. FileHeader는 버전, 작성자, 작성일 등을 설명한다. ParameterDeclarations은 시나리오에 사용되는 매개변수를 선언하는 부분으로 시나리오의 생성과 관리를 용이하게 한다. CatalogLocations은 시나리오에 사용하는 Catalog의 참조 위치를 지정하는데 이때, Catalog는 재사용이 가능한 시나리오 구성 요소 모음으로 객체 설명과 궤적 등을 포함할 수 있다. RoadNetwork는 시나리오에 사용되는 도로 정보를 정의하며 OpenX의 카테고리 중 도로 정보를 포함하는 OpenDRIVE 파일의 참조 위치를 지정하여 사용할 수 있다. Entities는 시나리오를 구성하는 모든 객체를 정의한다. Storyboard는 객체의 거동과 상호 작용을 설명한다.

Fig. 1

ASAM OpenX structure and components of OpenSCENARIO

2.2.1 Storyboard 구성 요소

Storyboard는 객체의 초기 위치 및 속도를 정의하고 차선 변경, 속도변화, 교통 체증과 같은 동적 컨텐츠를 설명하기 때문에 시나리오를 구성하는데 핵심이 된다.¹¹⁾ Storyboard는 크게 시나리오의 초기 상태를 설정하는 Init과 각 객체별로 수행해야 할 거동을 정의하여 주행 상황을 설명하는 Story로 나누어진다. Init은 날씨, 도로 상태 등 시나리오의 환경을 정의하는 GlobalAction과 각 객체 별로 초기 위치 및 속도를 나타내는 PrivateAction으로 구성된다. 이때, 객체의 초기 위치는 전역 좌표계를 사용하는 WorldPosition 또는 차량이 위치할 도로의 고유한 Id를 지정하는 LanePosition 등의 다양한 방식을 선택하여 나타낼 수 있다. Story는 여러 객체들이 포함된 복합적인 주행 상황을 설명하기 위해 시나리오 참여 객체 별로 수행해야 할 거동을 설명하는 부분이다. 거동 설명을 위해 Action과 StartTrigger를 사용하는데 Action은 LateralAction또는 LongitudinalAction 등으로 차량의 종횡방향 움직임을 정의하는 부분이고 StartTrigger는 이러한 움직임의 시작 조건을 설정하는 부분이다. Action과 StartTrigger의 조합을 통해 다양한 종횡방향 거동을 효과적으로 설명할 수 있다. Storyboard는 연속적인 하위 분류 체계를 가지며 Storyboard의 계층적 구조를 Fig. 2에 시각적으로 나타내었다. 실제로는 800여 개의 인자를 포함하고 있지만⁵⁾ 그림에는 핵심 인자만을 선별하여 표현하였다.

Fig. 2

Storyboard structure of OpenSCENARIO

2.2.2 대상 시나리오 소개

Storyboard의 구성 요소들을 사용하면 다양한 주행 시나리오를 설명할 수 있다. ASAM에서 제공하는 OpenSCENARIO 형식의 10가지 예제⁵⁾ 파일을 통해 시나리오 제작에서 Storyboard가 어떻게 사용되는지 확인할 수 있다. Fig. 3은 예제 시나리오의 전체 상황도를 제시하고 Storyboard의 구성 요소를 어떤 방식으로 사용해 주행 상황을 표현했는지 분석한 그림이다. 예제 시나리오는 차선 유지 또는 변경, 교통 체증, 선회 구간, 교차로 등을 포함하고 있어 복잡한 도심 주행 환경을 설명하기에 적합하다. 따라서, 본 논문에서는 이러한 10건의 예제 시나리오를 대상으로 자율주행 시뮬레이션 시스템 환경을 구축하여 높은 수준의 자율주행 시스템 요구 사항에 대응한다.

Fig. 3

Schematic diagram of example scenario provided by ASAM

3.1 시나리오 파일 구성 인자 비교 분석

앞 절에서 선정한 대상 시나리오 10건을 분석한 결과, 속도를 설정하는 SpeedAction, 차선 변경의 목표 차로를 지정하는 LaneChangeAction, 객체의 위치를 LaneId 또는 좌표로 지정하는 TeleportAction, 거동의 시작 조건을 설정하는 StartTrigger와 같은 4가지 요소가 공통적으로 사용되는 것을 확인하여 이 4가지를 시나리오 필수 구성 요소로 선정하였다.

각 구성 요소에는 해당 거동을 표현하기 위한 인자들이 포함되어 있다. 예를 들어, 시나리오에서 속도 변화를 설명하고자 한다면 SpeedAction의 AbsoluteTargetSpeed로 원하는 속도 값을 지정하고 SpeedActionDynamics를 통해 속도 변화 양상을 지정하면 된다. 이 필수 구성 요소들을 중심으로 하여 OpenSCENARIO와 시뮬레이션 툴에서 요구하는 시나리오 파일을 비교 분석하면 같은 거동을 나타내는 경우라도 시뮬레이터에 따라 표현 방식이 모두 다른 것을 볼 수 있다. Table 1은 널리 사용되는 시뮬레이션 툴 중 하나인 ASM과 OpenSCENARIO를 비교한 것으로서 같은 거동에 대해 서로 다른 설명 언어를 사용하고 있음을 알 수 있다. 예를 들어, OpenSCENARIO에서는 Ego 차량의 초기 속도를 정의하기 위해 AbsoluteTargetSpeed를 사용하지만 ASM에서 같은 기능을 구현하기 위해선 Python API로 Maneuver.Sequence. InitialLongitudinalVelocity를 입력해야 한다. Table 2는 OpenSCENARIO와 CarMaker 시뮬레이터를 비교한 것이다. CarMaker는 TestRun이라고 하는 고유의 시나리오 파일을 사용하며 Ego 차량과 주변 차량의 거동을 설명할 때 서로 다른 언어를 사용하는 것이 특징이다. 예를 들어, OpenSCENARIO에서 Ego 차량 및 주변 객체의 속도는 모두 AbsoluteTargetSpeed로 표현 가능 하지만 CarMaker에서는 Ego의 속도를 나타낼 때 Driv.Man.Init.Velocity를, 주변 차량의 속도를 나타낼 땐 Traffic.Init.v를 사용한다. 또한 거동의 시작 조건인 StartTrigger는 EndCondition을 사용하여 앞선 거동의 종료 조건을 함수 형식으로 작성하는 것으로 대체할 수 있다. 이러한 비교 분석을 기반으로 OpenSCENARIO 형식으로 사용되는 시나리오 설명 언어를 사용하고자 하는 시뮬레이션 도구의 시나리오 파일 형식에 맞게 가공한다. 가공된 인자들은 새로운 형식의 시나리오 파일을 생성하는 데에 사용되며 이러한 과정을 구현한 변환 프로그램에 대해 3.2절에서 설명한다.

Table 1

Comparison of parameters between OpenSCENARIO and ASM

Table 2

Comparison of parameters between OpenSCENARIO and CarMaker

3.2 변환 프로그램 구현

3.1절에서 수행한 시나리오 파일 구성 인자 비교 분석에 따라 시뮬레이터에서 요구하는 시나리오 파일에 입력 가능한 형태로 인자를 가공하고 가공된 인자를 활용해 새로운 시나리오 파일을 제작하는 프로그램을 구현한다. Fig. 4는 프로그램의 전체 구성도이다. 변환할 OpenSCENARIO 형식의 시나리오 파일과 시나리오에 사용되는 도로 파일인 OpenDRIVE를 입력하고 전처리를 통해 두 파일로부터 시나리오 데이터베이스를 확보한다. 시나리오 파일에 사용되는 방대한 데이터로부터 변환에 사용할 주요 인자만을 추출하고 Table 1, Table 2를 참조하여 각 시뮬레이터에 사용할 수 있는 형태로 시나리오 구성 인자를 가공한다. 가공된 인자들을 이용해 작성한 새로운 형식의 시나리오 파일을 결과물로 산출한다. 변환 코드는 MATLAB에서 작성되었다.

Fig. 4

The overall architecture of the scenario format conversion program

3.2.1 도로 정보를 활용한 초기 위치 및 변경 차로 지정

변환에 사용할 시나리오 파일의 구성 요소를 한 데 모은 데이터베이스를 구축하기 위해 OpenSCENARIO의 구조적 특성을 활용한다. OpenSCENARIO는 XML형식¹²⁾의 파일인데 이는 데이터를 정의하기 위한 규칙을 제공하는 마크업 언어로써 하나의 태그 안에 여러 하위 태그를 포함하는 계층적 구조를 갖는다. 이러한 구조적 특성을 활용하여 OpenSCENARIO를 구성하는 데이터를 MATLAB에서 쉽게 접근하고 활용할 수 있도록 구조체 형식으로 변환하는 과정(XML to Struct)을 거친다. OpenSCENARIO 구조체에 포함된 요소들을 시뮬레이터에 맞도록 가공해야 하는데 시뮬레이터가 OpenSCENARIO의 모든 구성 인자를 완벽하게 지원하는 것은 아니다. 특히, OpenSCENARIO가 LanePosition을 사용하여 차량의 초기 위치를 차로ID로 정의하는 경우, 일부 시뮬레이터에서 정의하는 차로ID와 일치하지 않기 때문에 지정한 차로에 차량을 배치할 수 없다. 이러한 문제를 해결하기 위해LanePosition을 WorldPosition으로 변환하는 방안을 제시한다. 이는 시뮬레이터와 OpenSCENARIO의 전역 좌표계가 일치한다는 점에서 착안하였으며 시나리오에 사용되는 도로 정보를 포함한 OpenDRIVE 파일을 활용한다.

OpenDRIVE에는 도로 시작점과 끝점 좌표, 도로를 구성하는 차로의 폭, 그리고 도로가 x축으로부터 회전된 정도를 나타내는 각도 등의 정보를 포함한다. 이를 기반으로 도로의 진행 방향을 x축 위에 위치시키는 회전 변환을 수행하면, 도로 중심선의 y좌표가 0이 되므로 1차로 폭의 절반이 1차로 중심선의 y값이 된다. Fig. 5에서 나타내는 것처럼 2차로 중심선의 y값은 1차로 폭과 2차로 폭의 절반을 더하여 구할 수 있다. 같은 방식으로 3차로 중심선의 y값은 1차로 폭과 2차로 폭에 3차로 폭의 절반을 더하여 구한다. 식으로 나타내면 (1)과 같고 이 식을 통해 OpenSCENARIO에서 LaneId로 정의된 차량의 위치를 전역 좌표계로 변환하여 초기 위치를 설정할 수 있다.

$\[ c_i=\frac{w_i}{2}+\sum _{k=1}^{i-1}{w}_k \]$

(1)

• c_i : y coordinate of i_th lane
• w_i : width of i_th lane

Fig. 5

Transformation from world position to lane position using road rotation matrix

OpenSCENARIO에서 정의한 구성 인자 Action 중 LateralAction에 해당하는 LaneChangeAction을 시뮬레이터에 모사하기 위해선 목표 차로의 ID를 알고 있어야 한다. 일례로, Carmaker에서는 차선 변경을 나타내기 위해 현재 차량이 위치한 LaneId로부터 상대적인 값을 목표 차로로 지정한다. 현재 차로의 LaneId가 -2인 경우 목표 차로에 -1을 입력하면 오른쪽으로 한 번 이동하라는 의미로 LaneId가 -3인 곳으로 이동하고, 1을 입력하면 왼쪽으로 한 번 이동하라는 의미로 LaneId가 -1인 곳으로 이동한다. ASM은 차로의 고유한 LaneId를 입력하여 이동할 목표 차로를 설정한다. 따라서, 차량의 위치 정보가 WorldPosition으로만 주어진 경우라면 초기 위치 설정은 가능하나 차선 변경 거동을 구현할 수 없는 문제점이 발생한다 따라서, WorldPosition으로 위치가 정의된 경우에는 LanePosition으로 변환하여 해당 좌표가 도로에서 어떤 LaneId를 갖는지에 대한 정보를 추출해야 한다. 이는, 도로의 진행 방향을 x축 위에 위치시키는 회전 변환과 더불어 차량의 좌표도 같은 각도로 회전 변환하여 구할 수 있다. 차로 폭 정보를 알고 있으므로 Fig. 6과 같이 차로 별 경계 박스를 설정할 수 있고 변환된 차량의 좌표가 특정 차로의 경계 박스 내에 존재하는지에 따라 몇 번째 차로 위에 있는지 LaneId를 결정한다. 최종적으로, 전처리를 통해 만들어진 데이터베이스에는 차량의 초기 위치에 대해 WorldPosition과 LanePosition 두 가지 정보를 모두 포함하게 된다.

Fig. 6

Transformation from lane position to world position using road bounding box

3.2.2 시나리오 핵심 데이터베이스 생성

3.2.1에서 구조체 형식으로 생성한 OpenSCENARIO 데이터베이스의 구성 요소 중 Action은 차량의 거동을 결정하므로 중요한 역할을 한다. 그러나 이러한 정보는 구조체에서 가장 하위 항목으로 정의되어 있어 이를 직접 사용하면 Action 구성 인자를 불러와 활용하는데 상당한 시간이 소요된다. 따라서, 이러한 문제점을 해결하기 위해 변환에 사용되지 않는 값들은 제외하고 실제 거동에 결정적인 역할을 하는 인자들을 추출해 데이터 베이스를 재구성한다(Extraction). 재구성된 데이터 베이스에는 객체 별 초기 위치 및 속도에 대한 정보를 나타내는 Init과 거동을 나타내는 Action이 포함된다. 이 과정에서 한 개 이상의 객체 및 거동을 모두 파악하기 위해 Fig. 7과 같은 구조의 알고리즘을 활용한다. 모든 객체에 대해 탐색하고 그 안에서도 해당 객체가 수행하는 모든 Action과 각 Action별 Trigger를 탐색하여 간소화된 데이터베이스로 저장한다.

Fig. 7

Pseudocode for scenario format transition program

3.3 OpenSCENARIO기반 시나리오의 변환 정합성 평가

변환 프로그램을 통해 OpenSCENARIO 기반으로 작성된 대상 시나리오를 새로운 시나리오 파일로 변환하고 이를 OpenSCENARIO와 비교함으로써 변환 방법의 적절성을 평가한다. Fig. 8에 대상 시나리오 중 하나인 Cut-in 상황을 OpenSCENARIO 형식으로 나타낸 경우와 변환 프로그램을 통해 TestRun 형식으로 바꾼 후 CarMaker에서 실행한 결과를 나타내었다. Fig. 8(a)은 객체 별 주행 경로를 나타낸 것인데, 이는 Fig. 9을 통해 시각적으로 확인할 수 있다. (a)는 Cut-in 시나리오로 상대 차량이 Ego차량과 선행 차량 사이에 끼어드는 경우이다. (b)는 고속도로 선회 구간에서 Ego차량과 상대 차량이 일정한 속도로 차선 유지 주행하며 달리는 시나리오이다. (c)는 고속도로의 가장 오른쪽 및 왼쪽 차선이 정지된 차 량으로 막힌 경우를 나타내며 선행 차량이 우측 차선의 차량과의 충돌을 피하기 위해 중앙 차선으로 차선 변경을 수행하는 시나리오이다. (d)는 Ego 차량이 감속하는 선행 차량에 접근하는 동안 옆 차선에서 다른 차량이 추월하는 상황을 나타낸다. 추가적으로, 같은 방법론을 적용하여 OpenSCENARIO형식의 시나리오 파일을 ASM에 적용 가능한 형식으로 변환하고 이를 MotionDesk에서 실행한 결과는 Fig. 10에 제시하였다. (a)는 Fig. 9(a)와 같은 Cut-in 시나리오이다. (b)는 교차로에서 연속적인 두 차량과 Ego차량이 마주치는 시나리오이다. (c)는 교통체증 상황에서 같은 차선과 옆 차선의 선행 차량들이 감속하는 시나리오이다. (d)는 옆 차선의 차량이 Ego차량을 추월하는 시나리오를 나타낸다. 왼쪽 그림은 변환하기 전 OpenSCENARIO 형식의 시나리오 파일을 전용 뷰어인 Esmini¹³⁾에서 실행한 것이고 오른쪽 그림은 변환 프로그램 결과 생성된 시나리오 파일을 각 시뮬레이터에서 제공하는 뷰어로 실행한 모습이다. 서로 다른 형식을 갖는 시나리오 파일의 객체들이 같은 주행 경로를 그리며 주행하는 것을 확인할 수 있다. Fig. 8(b)은 시간에 따른 속도 그래프로써 확대하여 보면 거동 시작 초기 시점에 차이가 발생하는 것을 알 수 있다. 이는 시간에 따른 x 좌표를 나타낸 Fig. 8(c)의 그림처럼 종방향 위치 오차를 수반하게 되는데, 이는 OpenSCENARIO가 차량 동역학적 특성을 반영하지 않는 것과 달리 시뮬레이터는 동역학적 특성을 반영하기 때문에 발생하는 오차이다. 한편, 차량이 횡방향 거동을 하는 경우에 동작의 시작과 끝 지점은 OpenSCENARIO와 일치하도록 변환 가능하나 과정 중의 거동은 완벽하게 일치시키기 어렵다. 이는 시간에 따른 y좌표를 나타낸 Fig. 8(d)의 마지막 그림을 통해 확인할 수 있다. 그러나, 변환 과정에서 반영되는 이러한 동역학적 특성은 오히려 현실적인 주행 환경을 구현하는 데에 도움이 되므로 자율주행 시뮬레이션 환경의 신뢰성을 높이는 요소로 작용할 수 있다. 이러한 오차를 정량적으로 평가하기 위해 상관성 분석 절차를 수행하였다.

• y_sim : Simulator
• y_open : OpenSCNARIO

Fig. 8

Cut-in scenario in CarMaker and OpenSCENARIO

Fig. 9

Simulation visualization (left) OpenSCENARIO by esmini (right) TestRun by CarMaker IPG Movie

Fig. 10

Simulation visualization (left) OpenSCENARIO by esmini (right) XML Scenario by MotionDesk

OpenSCENARIO와 변환 시나리오 간 시간에 따른 객체 별 위치 및 속도에 대한 두 데이터의 평균 차이를 측정하기 위해 RMSE를 계산하였고, 변환 프로그램이 거동 모사를 적절하게 수행하였는지 평가하기 위하여 종/횡방향 거동을 수행하는 객체의 위치 및 속도 데이터가 변하는 경우, 두 데이터 간 선형 상관 관계를 Pearson 상관 계수¹⁴⁾로 측정하였다. 식 (2)는 RMSE로 OpenSCENARIO와 변환 시나리오에서 각각 얻은 데이터 간의 차이를 평균한다. 결과는 Table 3에 나타내었다. Table 3에서 시나리오 별로 객체의 위치에 대해 RMSE를 계산한 결과가 평균 2 ~ 5 cm인 것을 확인할 수 있다. 이러한 오차는 국토지리정보원에서 고시하는 정밀도로지도의 위치 정확도¹⁵⁾ 기준인 10 cm 이내의 값으로 허용 오차 범위에 속한다. 속도에 대해서는 평균 0.01 m/s의 오차가 발생하는데 실제 속도 센서의 측정 오차 범위¹⁶⁾를 고려하였을 때 해당 속도 오차는 매우 작은 값으로 판단된다. 원본 시나리오 파일과 형식이 변환된 시나리오 파일 간의 차이가 허용 오차 범위 내의 작은 값이므로 두 시나리오 파일이 같은 주행 상황을 설명하는 것으로 볼 수 있다. 식 (3)의 r은 Pearson 상관 계수로 두 데이터의 공분산을 각 데이터의 표준 편차의 곱으로 나누어 구하며 -1부터 1사이의 값을 가질 수 있는데 절댓값이 1에 가까울수록 두 데이터 간에 강한 상관 관계가 있음을 의미한다.

• y_sim : Simulator
• y_open : OpenSCNARIO

Table 3

RMSE between OpenSCENARIO and TestRun to evaluate the error

이 때, Pearson 상관 계수는 선형 상관 관계만을 계산하기 때문에 두 데이터가 수평 또는 곡선 관계를 갖는 경우는 0이 될 수 있다. 자세한 설명을 위해 Fig. 11에 ‘Double Lane Changer’시나리오의 변환결과를 나타내었다. 해당 시나리오에서 객체는 같은 속도로 차선 변경을 두 번 수행한다. 때문에, Fig. 11(a)과 같이 횡방향인 x의 값이 달라지고 시뮬레이션 시간에 따라 y좌표는 일정하게 증가하며 속도는 유지된다. 두 데이터의 상관 관계는 Fig. 11(b)에 나타내었다. 위치 좌표는 선형적인 상관 관계를 가지는 반면 속도에 대해서는 수평 관계를 가지는 것을 확인할 수 있고 이렇게 수평 관계를 갖는 경우 Pearson 상관계수는 0이 된다. 또한, 차량이 정차되어 있어 속도가 변동 없이 0인 경우에 Pearson 식의 분모가 0이 되어 계산되지 않는다. 이러한 점들을 반영하여 Table 4에 형식 변환 전후 시나리오 파일 간 Pearson 상관 계수 계산 결과를 제시하였다. 시나리오 별로 종방향 또는 횡방향 거동을 하는 객체의 위치 및 속도 변화에 대해 Pearson 상관 계수를 계산한 결과, 모든 대상 시나리오에서 Pearson 상관계수가 0.95이상의 값을 갖는다. 이때, Pearson 상관 계수가 0.7보다 큰 경우는 강한 양의 상관관계를 가진 것으로 분류¹⁷⁾되므로 두 데이터는 강한 양의 상관 관계를 갖는 것으로 볼 수 있다. 이는 본 논문에서 제안하는 변환 방법이 원본 시나리오의 객체 거동 모사에 대한 내용을 훼손하지 않으면서 형식만을 적절히 변환하였음을 의미한다.

Fig. 11

Double lane changer scenario (a) actor’s x,y position and velocity, (b) the correlation between OpenSCENARIO and TestRun

Table 4

Pearson correlation coefficient between OpenSCENARIO and TestRun to evaluate the consistecy