The Korean Society Of Automotive Engineers

Current Issue

Transaction of the Korean Society of Automotive Engineers - Vol. 27 , No. 4

[ Article ]
Transactions of The Korean Society of Automotive Engineers - Vol. 27, No. 4, pp.309-317
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Apr 2019
Received 19 Nov 2018 Revised 23 Nov 2018 Accepted 13 Dec 2018
DOI: https://doi.org/10.7467/KSAE.2019.27.4.309

조건부 자율주행자동차(Level 3)의 제어권 전환 안전성 평가를 위한 기준 시나리오 개발
박명옥1) ; 손준우*, 1), 2)
*1)대구경북과학기술원 인간중심지능형시스템연구실
2)소네트 자율주행개발팀

Reference Test Scenarios for Assessing the Safety of Take-over in a Conditionally Autonomous Vehicle
Myoungouk Park1) ; Joonwoo Son*, 1), 2)
*1)HumanLAB, DGIST, 333 Technojungang-daero Hyeonpung-eup, Dalseong-gun, Daegu 42988, Korea
2)Automotive Vehicle R&D Team, Sonnet.AI, 333 Technojungang-daero Hyeonpung-eup, Dalseong-gun, Daegu 42988, Korea
Correspondence to : * E-mail: json@dgist.ac.kr


*This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼

Abstract

The existing autonomous driving systems still consider the driver as a fallback-ready user who is receptive to the ADS-issued request to take over. Therefore, the takeover performance of the driver must be carefully investigated in order to ensure a safe transition to a conditionally autonomous vehicle. This paper aims to propose reference test scenarios for the safety assessment of the takeover performance in a driving simulator. A systematic review was conducted in order to design the takeover scenarios based on the problem of losing “situation awareness”. As a result, five scenarios of takeover events have been derived, such as missing lines on a straight or curved road, accident cars, and system failure. In order to evaluate the scenarios in terms of criticality, urgency, safety, complexity, and time, 34 drivers were recruited, and they participated in the driving simulator experiments. The results showed that the scenarios are appropriately designed to represent the takeover events at different levels.


Keywords: Autonomous vehicle, Take-over, Reference test scenario, Driving simulator
키워드: 자율주행자동차, 제어권 전환, 기준 시나리오, 모의 운전

1. 서 론

최근, 자율주행자동차의 자동화 수준이 향상됨에 따라 운전자가 더 이상 운전에 집중하지 않고 비운전 과업(Non-Driving Related Tasks)을 수행할 수 있는 환경으로 발전하고 있다.1) 현재 상용화 단계를 앞두고 있는 조건부 자율주행자동차(SAE Level 3)는 정상적인 주행이 불가한 비상 상황에 직면할 경우 운전자가 대응할 수 있도록 제어권 전환 요청(Take-Over Request, TOR)을 발생시키는 안전 메커니즘을 이용하고 있다.2,3) 즉, 운전자가 비상대처의 주체(Fallback- ready user)로 간주되고 있다.

따라서 자율주행 중 발생하는 비상 상황에 대처하기 위하여 자율주행자동차로부터 운전자로 전달되는 제어권 전환(Take-Over) 과정에 대한 안전성을 체계적으로 평가하기 위한 연구가 필요하다.

현재 자율주행자동차 제어권 전환 과정에서의 인적요인(Human Factors)에 관한 시뮬레이터 기반의 연구 결과들이 발표되고 있지만, 제어권 전환의 안전성을 평가하기 위한 체계적인 방법과 이를 뒷받침 할 수 있는 연구 결과는 부족한 실정이다.

기존 연구들의 대다수는 운전자의 특성이 배제된 상태에서 자율주행시스템의 성능을 평가하는 데 초점이 맞추어졌거나, 운전자와 자율주행시스템 사이의 상호작용 성능을 평가한 경우에도 개별 연구목적에 따라 제어권 전환 시나리오를 다르게 설계하여 실험을 진행하였기 때문에 연구결과를 일반화하기에는 어려움이 따른다.

자율주행자동차 제어권 전환에서의 안전성을 확보하기 위해서는 인적요인 관점에서 제어권 전환 성능에 관한 체계적인 평가가 필요하며, 개별 연구들의 결과를 일반화하기 위하여 제어권 전환 상황을 대표할 수 있는 기준 시나리오 개발이 반드시 필요하다.


2. 기준 시나리오 도출 방법 및 이론적 배경

자율주행자동차의 제어권 전환 안전성 평가를 위한 기준 시나리오를 도출하기 위하여 Fig. 1과 같이 3단계의 연구를 수행하였다. 1단계에서는 자율주행자동차 정의 및 현황, 가이드라인의 분석 및 미국 캘리포니아 자동차 관리국의 부분 자율주행자동차 해제 상황 보고서 분석 등을 토대로 제어권 전환에 관한 정의를 명확히 하였으며, 2단계에서는 자율주행 및 자동화 관련 연구 문헌을 분석하여 제어권 전환 상황을 구성하는 요소에 대한 프레임워크를 정의하고, 인적(운전자), 자동차, 환경 중심의 단위 시나리오를 도출하였다. 이러한 과정 속에서 운전자의 상황인식(Situation Awareness) 측면에서 제어권 전환의 안전성을 평가할 수 있는 시나리오의 주요 구성요소를 도출하였다. 마지막으로 3단계에서는 단위 시나리오별 주요 구성요소를 바탕으로 총 5가지의 기준 시나리오를 제안하였으며, 목적지 도착 등과 같이 미리 계획된 시나리오(Planned scenario) 1가지와 차선 인식 불량, 전방의 사고구간발생 등의 계획되지 않은 시나리오(Unplanned scenario) 4가지로 구성되어 있다.


Fig. 1 
Deduction diagram of reference test scenarios

2.1 자율주행 및 제어권 전환의 정의
2.1.1 자율주행 단계의 정의

자율주행자동차는 일반적으로 자동차-인프라의 모든 요소를 유기적으로 연결하여 자율주행기술을 토대로 운전자 또는 승객의 조작 없이 스스로 주변 환경을 인식하여 위험을 판단하고 경로를 계획하는 등 스스로 운행이 가능한 자동차로 정의되며, 우리나라 자동차관리법 제2조 제1의 3호에 정의되어 있는 자율주행자동차는 ‘운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차’로 정의되어 있다.

또한, 자율주행의 자동화 단계를 보다 자세하게 분류하기 위하여, Table 1과 같이 미국자동차공학회(Society of Automotive Engineers, SAE)에서는 자율주행기술의 자동화 수준에 따라 Level 0부터 Level 5까지 6단계로 분류하였으며, NHTSA 및 UN 국제기준에서도 적용하고 있다.

Table 1 
SAE, BASt, NHTSA Automation level comparence
Technology
level
SAE BASt NHTSA Main control subject
as steering,
acceleration/deceleration
Subject of monitoring
driving environment
Subject of preparation
in dynamic
driving mission
System driving
mode
Monitoring driving environment from driver
0 Non-
automation
Drive
self
Non-
automation
Driver Driver Driver Not
available
1 Driver
assist
Drive
assist
Function
limit-automation
Driver/system Driver Driver Partial system
mode
2 Partial-
automation
Partial-
automation
Combination-
automation
System Driver Driver Partial system
mode
Monitoring driving environment from ADS
3 Conditional-
automation
Hight level-
automation
Limit-
automation
System System Driver Partial system
mode
4 Hight level-
automation
Full-
automation
Hight level-
automation
System System System Partial system
mode
5 Full-
automation
- Full-
automation
System System System Partial system
mode

2.1.2 자율주행 제어권 전환의 정의

선행 연구에서는 자율주행자동차의 제어권 전환을 요청한 주체와 제어권 전환이 완료된 이후 자동차를 제어하는 주체에 따라 정의하고 있다.2,3) 즉, 수동운전 중 운전자가 자율주행자동차로 제어권을 전환한 경우는 제어권 이양(Hand-Over)으로 정의하고, 자율주행 중 자동차의 제어권 전환 요청에 따라 운전자가 제어권을 전환 받는 경우는 제어권 인수(Take-Over)로 정의하였다.

자율주행 중 갑작스러운 제어권 인수 상황이 다른 제어권 전환 상황보다 위험하기 때문에 가장 중요한 연구대상으로 삼고 있다.

또한, 미국 캘리포니아주 자동차관리국에서는 자율주행 허가를 받아 운행 중인 자율주행자동차의 자율주행모드 해제 보고서를 공개하고 있다. 해당 보고서에서 ‘해제’로 간주되는 경우는 자율주행시스템이 고장을 감지하여 직접 자율주행모드를 해제한 경우, 시험 운전자가 안전을 위하여 자율주행모드를 직접 해제한 경우, 그리고 자율주행시스템이 운전자에게 자율주행모드 해제를 요청하여 운전자가 해제한 경우가 해당된다.

본 연구에서는 레벨 3 자율주행자동차에서 가장 위험한 제어권 전환에 해당하는 제어권 인수 상황으로 제어권 전환의 정의를 한정하여 사용하고자 한다.

2.2 제어권 전환 성능과 인적 요인

일반적으로 자동차의 자동화 수준이 높아질수록 운전자의 상황인식능력이 감소하는 것으로 알려져 있다. 예를 들어, 적응형 순항 장치의 사용이 상황인식, 운전부하, 스트레스를 감소시킬 수 있는 것으로 조사된 바 있다.4)

이처럼 장시간 자율주행 이용에 따른 상황인식 감소는 위급상황에서 제어권 전환 성능을 저하시킬 수 있다.2,3) 즉, 제어권 전환 요청이 발생하면 Fig. 2에서와 같은 일련의 상황 인식 과정을 거친 후 적절한 대응 방법을 결정할 수 있다.2,5) 따라서, 상황인식 능력이 감소된 상태에서는 판단을 내리기까지 더 많은 시간을 필요로 한다.


Fig. 2 
Process of take-over to manual driving

이와 같이 상황인식은 제어권 전환 성능에 많은 영향을 미치게 되므로, 제어권 전환 안전성 평가 시나리오를 개발할 때, 상황인식에 영향을 미치는 요인들을 고려할 필요가 있다.

제어권 전환에 영향을 미치는 상황인식 요인들은 Table 2와 같이 정의할 수 있으며, 상황 변수(Situation Variables)와 운전자 변수(Driver Variables)로 나누어 생각할 수 있다. 운전자 변수는 실험 수행을 위한 피험자 모집조건으로 통제할 수 있다.

Table 2 
Factors of transitions in Autonomous driving
Factors Conditions Scenario design
Initiator of the Transition (from) Driver Control context
(Apparatus support)
Car
Control after Transition (to) Driver
Car
Situation
awareness
factors
Situation
variables
Traffic complexity
before transition
Roadway type Number of lanes Driving context
Geometry
Events System failure / Limitation
External object
Traffic density Number of vehicles per km
HMI informing interface Visual ADS Design
(Apparatus support)
Vocal
Acoustic
Tactile
Deactivation interface Button/Lever
Steering wheel
Pedals
Non-Driving related tasks (NDRT) Visual Control context
(Apparatus support)
Manual
Cognitive
Driver
variables
Age Younger Participants
Older
Gender Male
Female
Driving skill Experienced
Novice
Knowledge of ADS Low
High
Take-over readiness Low Control context
High

상황 변수는 자율주행시스템 설계 변수, 운전 환경 변수, 실험 통제 변수로 구분하여 생각할 수 있는데, 설계 변수에 해당하는 HMI(Human -Machine Interface)와 실험 통제 변수에 해당하는 비운전과업(Non-Driving Related Tasks)은 드라이빙 시뮬레이션 환경 구축 단계에서 결정할 수 있다.

따라서 제어권 전환 성능 평가 시나리오는 운전환경 변수, 특히 교통 상황의 복잡도를 중심으로 설계할 필요가 있다. 교통 상황의 복잡도는 도로 유형(Roadway Type), 교통 밀도(Traffic Density), 주변 사건(Event)을 이용하여 설정할 수 있다. 선행 연구에 따르면, 높은 교통밀도는 제어권 전환 성능에 부정적 영향을 미치는데,6) 이는 교통 밀도가 높을수록 상황 인식 능력이 낮아지기 때문이다.4) 즉, 교통 환경의 복잡도가 높은 상황에서는 상황을 인식하는데 더 많은 시간이 소요되기 때문에 제어권 전환 시간이 증가되어 결과적으로 제어권 전환 성능이 떨어지게 된다.6,7) 또한, 교통 밀도가 높은 상황에서는 전방 장애물을 회피하기 위한 차선의 변경 반응이 늦어져서 제어권 전환 성능이 떨어진다고 보고된 바 있다.6,8)


3. 기준 시나리오 제안

본 연구에서는 전술한 연구 방법을 토대로 다음과 같이 5종의 제어권 전환 기준 시나리오를 제안하고자 한다.

  • - SSN: 계획된 제어권 전환
    (Straight-No Event)
  • - SSL: 직선도로 차선불량
    (Straight - Missing Lane Marking)
  • - SCL: 곡선도로 차선불량
    (Curved - Missing Lane Marking)
  • - SSO: 직선도로 사고차량 등
    (Straight - External Obstacle)
  • - SSF: 직선도로 시스템 고장
    (Straight - System Failure)

5종의 시나리오 중 SSN는 자율주행 중 특별한 이벤트 없이 사전 공지된 제어권 전환 요청에 응하는 상황으로 계획된 제어권 전환(Planned Take-Over)에 해당하며, 실험 참가자의 제어권 전환 성능에 대한 기준치 역할을 하게 된다. SSL, SCL, SSO, SSF에 해당하는 4종은 제어권 전환의 안전성 측면을 평가하기 위한 기준 시나리오로 주행 중 계획되지 않은 제어권 전환(Unplanned Take-Over)을 모사하기 위한 것이다.

각 시나리오는 다음과 같다. 먼저, SSN 시나리오(Straight-No Event)는 Fig. 3과 같이 3차선 고속도로 중앙차선에서 시속 85 km/h로 직선구간을 주행하는 중 제어권 전환 요구(Take-Over Request, TOR)가 발생할 것을 15초 전에 미리 안내한 후 제어권 전환 요구가 발생하며, 제어권 전환 이후 수동운전으로 속도와 차선을 유지하며 주행한다.


Fig. 3 
Straight-No Event Scenario(SSN)

SSL(Straight-Missing Lane Marking) 시나리오는 Fig. 4와 같이 3차선 고속도로 중앙차선에서 시속 85 km/h로 직선구간을 주행하는 중 전방지점에서 차선이 사라짐으로 인해 제어권 전환 요구(TOR)가 발생하여 제어권 전환 이후 수동운전으로 속도와 차선을 유지하며 주행한다.


Fig. 4 
Straight-Missing Lane Marking Scenario(SSL)

SCL(Curved-Missing Lane Marking) 시나리오는 Fig. 5와 같이 3차선 고속도로 중앙차선에서 시속 85 km/h로 곡선구간을 주행하는 중 전방 지점에서 차선이 사라짐으로 인해 제어권 전환 요구(TOR)가 발생하여 제어권 전환 후 수동운전으로 속도와 차선을 유지한다.


Fig. 5 
Curved-Missing Lane Marking Scenario(SCL)

SSO(Straight-External Obstacle) 시나리오는 Fig. 6과 같이 3차선 고속도로 중앙차선에서 시속 85 km/h로 직선구간을 주행하는 중 전방 지점에서 정차중인 사고차량이 나타남으로 인해 제어권 전환 요구(TOR)가 발생하여 제어권 전환 후 수동운전으로 감속과 차선변경을 한다.


Fig. 6 
Straight-External Obstacle Scenario(SSO)

마지막으로, SSF(Straight-System Failure)시나리오는 Fig. 7과 같이 3차선 고속도로 중앙차선에서 시속 85 km/h로 직선구간을 주행하는 중 시스템 고장이 감지되어 제어권 전환 요구(TOR)가 발생하여 제어권을 완료한 후 수동운전으로 속도와 차선을 유지한다.


Fig. 7 
Straight-System Failure Scenario(SSF)

시나리오에 공통적으로 적용할 수 있는 세부 요소, 즉, 차종, 자동화 레벨 및 자율주행기능, 주행환경, 주변 교통상황, 비운전과업, 알림방법, Take-over Interval, 전환 시간(Time Budget) 등은 Table 3에 제시하였다. 본 연구에서 제안한 세부 요소는 선행 연구를 토대로 제시한 것으로 연구목적에 따라 조정하여 사용할 수 있다.

Table 3 
Common factors of the proposed 5 scenarios
Factors Contents
Car type Passenger car(sedan)
Automarion level and used ADS function L3 (SAE) / Adaptive cruise and lane centering
Road condition Highway (85km/h drive)
Traffic LOS C (12 ~ 15car/km/lane)
Non-driving related tasks SuRT (visual), N-back (cognitive)
Take-over request modality Multimodal (Visual + Auditory)
Take-over request interval About 6 minutes
Take-over time budget 8 seconds


4. 기준 시나리오에 대한 주관 평가 및 결과

기준 시나리오의 적절성을 검증하기 위하여 피험자 34명을 모집하여 드라이빙 시뮬레이터 실험을 실시한 후 긴급성, 예측가능성, 위험성, 복잡성, 안전성, 시간 적절성, 정신적 부담, 신체적 부담에 대한 주관 평가를 실시하였다.

4.1 실험 참가자

기준 시나리오의 적절성을 검증하기 위하여 일반운전자 25-50세와 고령운전자 65-75세를 각각 19명과 15명씩 총 34명을 모집하였다. 실험참가자의 평균연령은 일반운전자 그룹은 36.7세(SD = 5.6), 고령운전자대는 72.1세(SD = 4.4)이며, 평균운전경력은 일반운전자는 11.1년(SD = 5.8), 고령운전자는 29.5년(SD = 12.1)이다. 실험참여자는 주 3회 이상 운전을 하며, 교정시력 0.8 이상의 시력 및 운전 시뮬레이터의 운전 실험에 경험이 없으신 분으로 신체적, 정신적으로 건강한 사람들로 선정하였다. 또한, 기본적인 인지능력을 검사하기 위하여 MMSE(Mini Mental Status Exam)을 시행하였으며, 30점 만점에 27점 이상을 통과한 사람이 참가하였다.

실험 참가한 전체 피험자 34명 중 2명의 데이터 부분 소실과 2명의 시뮬레이터 멀미 등으로 인해 분석에서는 제외하였다.

4.2 실험 장치
4.2.1 모의주행

자율주행 기준 시나리오의 적절성을 검증하기 위한 실험은 Fig. 8과 같은 모의 주행 장치를 이용하였다. 모의주행 장치는 5대의 빔 프로젝터, 340°원통형 스크린, 제어용 PC와 현대 제네시스의 차량 내부를 재현한 시뮬레이터 차량으로 구성되었으며, 자율주행 기능으로는 적응형 속도 제어(Adaptive Cruise Control)와 차선 유지(Lane Centering)를 동시에 적용하였다. 시뮬레이터 소프트웨어는 Forum8사의 UC-win Road Driving Sim Ver.13을 사용하였다. 주행도로는 자동차안전연구원의 고속주회로를 모델링하여 고속도로를 모사하였으며, 곡선로 경사부는 반영하지 않았다.


Fig. 8 
DGIST Cylindrical screen-base driving simulator


Fig. 9 
Unplanned take-over scenarios`s scene

4.2.2 NDRT(Non Driving Related Tasks)

SAE Level 3 자율주행 상황에서 운전자는 모니터링 의무와 수동운전의 의무가 없으므로, 운전자의 상황인식(Situation Awareness) 상태를 통제할 수단이 필요하다. 본 실험에서는 NDRT (Non Driving Related Task)를 수행하도록 하여 운전자의 상태를 통제하였다. 즉, 운전자가 별도의 과업을 수행하고 있지 않은 상태, 시각적 과업(Visual Task)을 수행하는 상태와 인지적 과업(Cognitive Task)을 수행하는 상태9)로 나누어 생각할 수 있다.

실험 중 NDRT를 부가하기 위하여, 음성으로 제시되는 숫자를 기억하여 대답하는 N-back 과업10)과 시각으로 제시되어 시각적 주의분산을 유도하기 위하여 SuRT(Surrogate Reference Task)11)를 이용하였다.

본 실험에서는 보통 수준의 인지 부하를 부가하기 위하여 일련의 숫자를 듣고 바로 그 전 숫자를 말하는 1-back을 이용하였다. N-back과업은 각 난이도별로 30초 동안 10개의 숫자를 들려주는 과정을 4회 반복함으로써 인지부하가 2분간 지속되도록 설계하였다. 각각의 숫자는 약 2.1초 주기로 제시되었다. 또한, 개인별 학습능력의 차이를 최소화하기 위하여 1-back을 모두 맞출 수 있을 때까지 충분한 사전연습을 실시하였다.

시각적 리소스 요구량(Visual Demand)을 체계적으로 관리할 수 있으므로 ISO 표준으로 제정되어 있는 SuRT를 사용하여 실험을 진행하였다.

4.3 실험 절차

실험절차는 Fig. 10과 같이, 모의 주행 실험을 중심으로 실험 전 단계, 연습단계, 사전측정과 실험 및 실험 후 단계로 구성하였다.


Fig. 10 
Experiment flow

실험 전 단계는 서명 및 자격조건 확인(Consent and Eligibility), 사전 설문(Pre-Survey), 전반적인 실험설명 및 NDRT 설명(Overview-Experiment and NDRT), 그리고 센서 부착(Sensor Attachment)을 한다.

연습 단계에서는 운전자의 시선 측정을 위한 Facelab 위치 조정과 시뮬레이터 운전에 적응을 위한 수동운전(Manual Driving) 및 자율주행 운전을(Autonomous Driving) 연습한다. 이 단계에서 수동 및 자율주행 운전 주행의 시스템 전환(Activation & Deactivation)에 대해 연습한다.

그리고 실험 전 단계에서 설명했던 NDRT 수행을 실제 주행과 유사한 환경에서 연습(Training NDRT) 한다. 시선 측정 장치 세팅(Gaze Tracker Set-up) 및 모의 주행 훈련(Driving Simulator Training), 그리고 N-back 및 SuRT 훈련으로 구성하였다. 그 후 사전 측정을 시작하기 전에 피험자는 잠깐의 휴식을 취하였다.

사전 측정 단계는 실험 전 단계에서 부착한 센서의 기준값을 측정(Physiological Baseline)하는 것으로 시작한다. 그 후 수동운전(Manual Driving)과 자율주행운전(Autonomous Driving)의 활성화와 비활성화를 반복 수행하면서 NDRT를 수행하는 동안의 신체 반응에 대한 기준값을 측정한다.

본 실험 단계에서는 자율주행 활성화 상태에서 No NDRT, N-back 또는 SuRT을 수행하는 중 5가지의 시나리오별 제어권 전환 요구에 관한 운전자 반응을 관찰하기 위한 모의 주행 실험을 실시한다. 본 실험에서 사용된 비계획 제어권 시나리오는 Fig. 9와 같다.

본 실험 중 제어권 전환을 실시하는 횟수는 총 11회이며 제어권 전환 사이에는 약 4분간의 자율주행 구간이 있도록 하였다. 단, 운전자의 학습 및 예측 효과를 최소화하기 위하여 시나리오 순서, 발생 간격, NDRT 순서 등을 무작위로 구성하였다. 본 실험 이후 사후 설문지 작성을 마지막으로 실험은 종료된다.

4.4 분석 방법

모의 주행 중 제어권 전환을 수행한 후 NDRT 디스플레이를 이용하여 실시한 주관적 설문 조사를 통하여 제어권 전환 시나리오별 긴급성(Urgency), 예측가능성(Predictability), 위험성(Criticality), 복잡성(Complexity), 안전성(Safety), 시간적절성(Time Budget), 정신적 부담(Mental workload), 신체적 부담(Physical workload)을 확인하였다. 제어권 전환 시니라오 설문은 7점 리쿼트 척도를 사용하였다.

주관적 측정 항목에 대한 시나리오별 유의성을 확인하기 위하여 반복측정분산분석(Repeated Measures ANOVA)을 실시하였으며, 구형성 가정을 만족하지 못한 항목에 대하여 Greenhouse- Geisser 보정식을 사용하였다.

4.5 실험 평가 결과

각 시나리오에 대한 주관적 평가 결과는 Table 4와 같이, 긴급성, 위험성, 시간 적절성, 정신적 부담, 신체적 부담에 대하여 유의한 차이를 나타내었다. 특히, 직선도로 사고차량 시나리오(SSO)에서 가장 높은 주관적 평가 결과를 보이는 것으로 보였다. 이는 해당 시나리오가 가장 긴급하고, 위험하며, 시간이 부족하면서, 정신적/신체적으로 부담스러운 상황임을 알 수 있다.

Table 4 
Subjective rating results by scenario
Scenario SSN SSL SCL SSO SSF F df Sig.
Subjective
measures*
Urgency 3.68
(1.33)
3.09
(1.56)
3.27
(1.11)
4.20
(1.71)
3.26
(1.16)
5.491 (4,100) .003
Predictability** 4.14
(0.97)
3.93
(1.35)
4.30
(1.26)
3.71
(1.60)
3.74
(1.44)
1.745 (4,100) .161
Criticality 3.39
(1.48)
3.17
(1.65)
3.18
(1.19)
4.45
(1.91)
3.17
(1.60)
5.611 (4,100) .004
Complexity 2.87
(1.41)
2.88
(1.52)
2.78
(1.33)
3.32
(1.44)
2.85
(1.13)
2.730 (4,100) .058
Safety** 4.67
(1.26)
4.74
(1.47)
4.30
(1.18)
3.89
(1.38)
5.43
(5.34)
1.905 (4,96) .131
Time budget 5.01
(1.28)
5.07
(1.12)
5.05
(0.87)
4.36
(1.54)
4.56
(1.20)
3.135 (4,92) .041
Mental workload 2.90
(1.33)
2.81
(1.37)
3.08
(1.17)
3.80
(1.66)
2.98
(1.35)
5.532 (4,92) .002
Physical workload 2.81
(1.58)
2.81
(1.37)
1.09
(1.09)
3.61
(1.81)
2.81
(1.35)
4.046 (4,92) .013
* Average(Standard deviation)
** The lower value indicates more critical

반면, 유의한 결과를 갖는 주관적 평가 항목 중, 직선도로 차선불량(SSL) 시나리오가 긴급성, 시간 적절성, 정신적 부담 측면에서 가장 낮은 결과를 보였으며, 직선도로 시스템고장(SSF) 시나리오는 위험성 측면에서, 곡선도로 차선불량(SCL) 시나리오는 신체적 부담 측면에서 난이도가 낮은 상황으로 평가되었다.

이상의 결과를 종합해 볼 때, SSO, SCL, SSF, SSL 순으로 난이도가 높은 시나리오 상황임을 알 수 있으며, 제안된 시나리오들이 다양한 상황별 난이도를 모사하고 있음을 확인할 수 있었다.


5. 토의 및 결론

본 연구에서는 자율주행 제어권 전환 안전성 평가를 위한 5가지 기준 시나리오(SSN, SSL, SCL, SSO, SSF)를 제안하였으며, 각 시나리오는 긴급성(Urgency), 위험성(Criticality), 시간 적절성(Time budget), 정신적 부담(Mental workload), 신체적 부담(Physical workload) 측면에서 유의한 차이를 보인다는 것을 확인하였다.

이는 선행 연구에서 제안한 운전자 관점에서의 4가지 요소, 즉, 긴급성, 예측가능성, 위험성, 운전자 반응12)과 유사한 특성을 가진다는 것을 확인할 수 있었다. 특히, 자율주행 제어권 전환 안전성에 가장 밀접한 영향을 미치는 긴급성과 위험성 측면에서 제안된 시나리오는 상(SSO), 중(SCL, SSF), 하(SSL)의 난이도를 고루 나타내고 있음을 확인할 수 있었다.

제안된 시나리오 중에서 SSO가 가장 난이도가 높고 위험한 상황으로 평가되었는데, 이는 도로 가운데 정차된 사고 차량을 주행 중인 자동차로 착각하는 현상으로 인하여 위험도가 급증하였음을 알 수 있다. 실제로 대다수의 실험 참가자가 정차된 자동차를 주행 중인 자동차로 착각하였다고 대답하였다. 다만, 이러한 착각 현상의 원인이 고속도로 주행에서 흔히 발생하는 고속도로 최면현상(Highway Hypnosis)13)에서 기인한 것인지, 시뮬레이터 화면의 서서히 변화하여 그 차이를 인지하지 못한 변화맹(Change blindness)14)으로 인한 것인지에 대한 심화연구가 필요할 것으로 판단된다.

다음으로, 가장 낮은 난이도를 나타낼 것으로 예상되었던 SSN 시나리오가 중간 정도의 난이도로 나타난 이유를 살펴볼 필요가 있다. 이러한 결과가 나타난 근본적인 이유는 학습효과에서 찾을 수 있다. 즉, Table 5와 같이 시뮬레이터 실험을 시작한 직 후에 실시했던 주관적 평가 결과(SSN First)는 상대적으로 난이도가 높게 평가되었으며, 실험 종료 직 전에 실시한 평가 결과(SSN Last)는 상대적으로 낮게 평가되어 있을 알 수 있다. 따라서, 실험 시작 직후와 마지막에 실시한 제어권 전환에 대한 평가 결과는 기준값으로 활용하기에는 부적절한 면이 있으며, 향후 연구에서는 다른 시나리오들과 함께 무작위로 제시하여 평가할 필요가 있다.

Table 5 
Subjective rating results of SSN scenario
Scenario SSN First SSN Last SSN Total
Subjective
measures
Urgency 3.80(1.51) 2.70(1.59) 3.68(1.33)
Predictability 4.00(1.46) 4.55(1.79) 4.14(0.97)
Criticality 3.63(1.50) 2.45(1.57) 3.39(1.48)
Complexity 3.03(1.49) 2.00(1.12) 2.87(1.41)
Safety 4.66(1.44) 5.00(1.52) 4.67(1.26)
Time budget 4.79(1.17) 5.50(1.15) 5.01(1.28)
Mental workload 2.82(1.33) 2.60(1.35) 2.90(1.33)
Physical workload 2.75(1.45) 2.60(1.57) 2.81(1.58)
* Average(Standard deviation)

이상으로 본 연구에서 제시한 자율주행 제어권 전환 안전성 평가 기준 시나리오는 긴급성(Urgency), 위험성(Criticality), 시간 적절성(Time budget), 정신적 부담(Mental workload), 신체적 부담(Physical workload) 측면에서 상, 중, 하의 난이도 대표할 수 있는 시나리오임을 확인하였다.

또한, 본 시나리오를 자율주행 제어권 전환 연구의 기준 시나리오로 활용함으로써 서로 다른 기관에서 수행한 연구를 상호 비교할 수 있는 가능성을 열어 줄 수 있을 것으로 기대된다.

마지막으로, 본 연구는 드라이빙 시뮬레이터를 이용한 연구 결과이므로, 향후 실도로 실험 결과와 비교하여 타당성을 검증할 필요가 있음을 밝힌다.


Acknowledgments

본 연구는 국토교통부 교통물류연구사업의 연구비지원(과제번호 18TLRP-B131486-02) 및 미래창조과학부 대구경북과학기술원 기관고유사업(과제번호:18-BT-01)의 연구비지원에 의해 수행되었습니다. 단위시나리오 연구를 공동 수행한 국민대(양지현 교수님)와 아주대(윤일수 교수님) 연구진과 시나리오 일러스트 작업을 한 UNIST 박성률 박사님께 감사를 표합니다.


References
1. SAE, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-road Motor Vehicles, Standard No.J3016, (2018).
2. J. Son, and M. Park, “Situation Awareness and Transitions in Highly Automated Driving: A Framework and Mini Review”, Journal of Ergonomics, 7(5), p1-6, (2017).
3. Z. Lu, R. Happee, C. D. D. Cabrall, M. Kyriakidis, and J. C. de Winter, “Human Factors of Transitions in Automated Driving: A General Framework and Literature Survey”, Transportation Research Part F: Traffic Psychology and Behaviour, 43, p183-198, (2016).
4. N. A. Stanton, and M. S. Young, “Driver Behaviour with Adaptive Cruise Control”, Journal of Ergonomics, 48(10), p1294-1313, (2005).
5. M. R. Endsley, “Toward a Theory of Situation Awareness in Dynamic Systems”, Human factors, 37(1), p32-64, (1995).
6. J. Radlmayr, C. Gold, L. Lorenz, M. Farid, and K. Bengler, “How Traffic Situations and Non-Driving Related Tasks Affect the Take-Over Quality in Highly Automated Driving”, Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 58(1), p2063-2067, (2014).
7. A. P. van den Beukel, and M. C. van der Voort, “The Influence of Time-criticality on Situation Awareness When Retrieving Human Control After Automated Driving”, 16th International IEEE Conference on Intelligent Transportation Systems(ITSC 2013), p2000-2005, (2013).
8. C. Gold, M. Korber, D. Lechner, and K. Bengler, “Taking Over Control From Highly Automated Vehicles in Complex Traffic Situations: The Role of Traffic Density”, Human Factors, 58(4), p642-652, (2016).
9. J. Son, and M. Park, “Detection of Cognitive and Visual Distraction Using Radial Basis Probabilistic Neural Networks”, Int. J. Automotive Technology, 19(5), p935-940, (2018).
10. J. Son, and M. Park, “The Impact of Cognitive Workload on Driving Performance and Visual Attention in Younger and Older Drivers”, Transactions of KSAE, 21(4), p62-69, (2013).
11. ISO, Road Vehicles - Ergonomic Aspects of Transport Information and Control Systems - Calibration Tasks for Methods Which Assess Driver Demand due to the Use of In-vehicle Systems, Standard No.ISO/TS 14198:2012, (2012).
12. C. Gold, F. Naujoks, J. Radlmayr, H. Bellem, and O. Jarosch, “Testing Scenarios for Human Factors Research in Level 3 Automated Vehicles”, In Advances in Human Aspects of Transportation, p551-559, (2018).
13. A. H. Wertheim, “Explaining Highway Hypnosis: Experimental Evidence for the Role of Eye Movements”, Accident Analysis & Prevention, 10(2), p111-129, (1978).
14. D. J. Simons, and D. T. Levin, “Change blindness”, Trends in Cognitive Sciences, 1(7), p261-267, (1997).