The Korean Society Of Automotive Engineers

Transactions of the Korean Society of Automotive Engineers - Vol. 31 , No. 11
[Paper List] [Goto Volume List]

[ Article ]
Transactions of the Korean Society of Automotive Engineers - Vol. 31, No. 11, pp. 853-863
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Nov 2023
Received 16 May 2023 Revised 28 Jul 2023 Accepted 02 Aug 2023
DOI: https://doi.org/10.7467/KSAE.2023.31.11.853

도심로와 자동차전용도로에서의 자율주행 돌발 종료 상황의 청각 알림 비교 연구
김희정1) ; 권영동1) ; 양지현*, 2)
1)국민대학교 자동차공학전문대학원
2)국민대학교 자동차공학과

Comparison of Auditory Alarms Considering Unplanned ODD Exit and Road Types in Conditionally Automated Driving
Hee Jeong Kim1) ; Young Dong Kwon1) ; Ji Hyun Yang*, 2)
1)Graduate School of Automotive Engineering, Kookmin University, Seoul 02707, Korea
2)Department of Automotive Engineering, Kookmin University, Seoul 02707, Korea
Correspondence to : *E-mail: yangjh@kookmin.ac.kr


Copyright Ⓒ 2023 KSAE / 216-01
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼
Abstract

A human-in-the-loop experiment was conducted with a vehicle simulator and 40 volunteers who evaluated the auditory alarms that were conveying driving situations to drivers before a request for a takeover was submitted. The study compared driver sensitivity in Unplanned ODD Exit situations(over-speeding and off-route), road types(motorway and city road), and auditory alarms(speech and earcons + speech). Driver sensitivity was measured according to situation awareness, anxiety, reliability, suitable duration, and preferred alarm. The appropriate auditory alarm and duration were determined for each situation and road type based on those measurements. The results showed that drivers had higher situation awareness and reliability and lower anxiety in over-speeding situations than in off-route situations. Most drivers preferred earcons + speech over plain speech, with 6 seconds being rated as the most suitable duration, presumably because all auditory alarms lasted for 6 seconds during the test. The results were used to develop interface information design guidelines for automated driving systems from the driver’s point of view.

Keywords: Auditory alarm, Automated vehicle, Operational design domain, Unplanned ODD exit, Information provision
키워드: 청각 알림, 자율주행차량, 운영설계영역, ODD 이탈, 정보 제공
1. 서 론

운영설계영역(Operational Design Domain, ODD)은 자율주행 시스템이 작동하도록 설계된 특정 운영 영역이다.1) SAE J3016에 따르면, 자율주행 레벨 5(완전 자율 주행)에서는 ODD에 한계가 없지만, 자율주행 레벨 4(고도화 자율 주행), 레벨 3(조건부 자율 주행), 그리고 그 이하의 레벨에서는 ODD에 한계가 있다.2)

자율주행 중 차량이 ODD를 벗어난 경우를 ‘ODD 종료’라고 한다. ODD 종료 시, 자율주행 시스템은 운전자에게 개입을 요청하거나 스스로 최소위험조건(Minimal Risk Condition, MRC)에 도달해야 한다. 레벨 3의 경우, ODD 종료 시, 차량 혹은 시스템 고장 시, 자율주행 시스템이 적시에 비상대비책을 갖춘 운전자에게 개입을 요청해야 하며, 운전자 또한 개입 요청에 수용성을 갖고 적시에 비상대비책을 수행함으로써 개입 요청에 대응한다.2) 레벨 4의 경우, ODD 종료 시, 차량 혹은 시스템 고장 시, 운전자가 개입 요청에 반응하지 않을 시, MRC로 전환할 것을 운전자가 요청할 시, 자율주행 시스템은 비상대비책을 수행하고 자동으로 MRC로 전환해야 한다.2) MRC로는 현재 주행 경로 내에서 혹은 차선을 변경하여 차량을 자동으로 정지시키는 등의 조치를 취할 수 있다.2)

ODD 종료는 ‘예상한 ODD 종료’와 ‘예상하지 못한 ODD 종료’로 나뉜다.3) 예상한 ODD 종료는 운전자와 차량이 제어권 전환 요청의 발생 지점과 그 시점을 미리 알고 있어 ODD 종료에 대한 대비를 할 수 있는 경우다.4,5) 예를 들어, 고속도로를 벗어나는 길인 고속도로 출구가 있다.4,5) 예상하지 못한 ODD 종료는 제어권 전환 요청이 필요하지만 그 발생 지점과 시점을 미리 알지 못해서 ODD 종료에 대한 대비를 할 수 없는 경우다.4,5) 예를 들어, 공사 구간, 악천후, 비상 자동차의 접근, 차선 유실, 도로상의 낙하물이 있다.4,5)

ODD 종료의 비상대비책은 ODD 종료의 예상 가능 여부에 따라 달라져야 한다. SAE J30162)은 자율주행 레벨 3에서 ODD 종료로 인한 비상대비책으로, 자율주행 시스템이 ODD 종료에 다가갈 때 시스템이 운전자에게 제어권 전환을 요청하는 것을 제시했다. 이때 운전자는 ODD 종료에 도달하기 전에 자율주행 시스템으로부터의 개입 요청에 응답하여 비상대비책을 수행하고 운전 작업을 수행해야 한다. 하지만 이는 예상한 ODD 종료 상황에서만 가능하며, 예상하지 못한 ODD 종료 상황에서는 ODD의 종료 지점을 예측할 수 없다. 즉, ODD 종료에 도달하기 전에 시스템이 운전자에게 제어권 전환을 요청할 수가 없다. 따라서 예상하지 못한 ODD 종료만의 비상대비책이 필요하다. 자율주행 레벨 3에서 예상하지 못한 ODD 종료 시, 자율주행차량 혹은 시스템이 ODD 한계를 벗어난 후에 운전자에게 제어권 요청을 할 수 있다. 이때 시스템이 운전자에게 주행 상황과 대응 방법에 대한 정보를 적절하게 제공해야 운전자가 이를 명확하게 인지하고 대응할 수 있다. 따라서 예상하지 못한 ODD 종료 시, 제어권 전환 알림과 더불어 예상하지 못한 ODD 종료 상황에 대한 정보를 제공하여 운전자가 주행 상황을 인지할 수 있도록 해야 한다. 이후 운전자는 개입 요청에 응답하여 비상대비책을 수행하고 Dynamic Driving Task(DDT)를 수행한다.

본 연구에서는, 가상환경 기반의 차량 시뮬레이터를 이용하여, 총 40명의 실험 참가자를 대상으로 제어권 전환 요청 전 주행 상황을 청각 알림으로 제공하고 이를 평가하는 Human-in-the-loop 실험을 진행했다. 예상하지 못한 ODD 종료 상황(제한 속도 초과, 선정 경로 이탈), 주행 도로(자동차전용도로, 도심로), 청각 알림(음성메시지, 이어콘(Earcons)+음성메시지)에 따라서, 알림에 대한 운전자의 감성(상황 인지도, 불안감, 신뢰도, 적합한 지속시간, 선호 알림)을 비교했다. 이를 통해 각 상황과 도로에 적절한 청각 알림과 그 지속시간을 도출했다.

2. 선행연구
2.1 ODD 종료 상황에서의 알림 제공 관련 선행연구

ODD 종료 상황에서의 알림 제공 관련 선행연구는 대부분 고속도로에서의 제어권 전환 알림에 초점이 맞춰져 있다.

백수진과 양지현6)은 고속도로에서 자율주행차가 전방에 사고 차량과 부딪히기(예상하지 못한 ODD 종료) 전에 운전자에게 시각, 청각, 촉각 단일 알림 혹은 조합으로 제어권 전환 알림을 제공하고, 시선추적 기반의 인지 시간, 반응 시간, 제어권 전환 방식을 이용하여 운전자의 행동 패턴을 분석했다.

Kim과 Yang7)은 고속도로 출구에 진입했을 때(예상한 ODD 종료)와 고장으로 정차한 차량을 맞닥뜨렸을 때(예상하지 못한 ODD 종료) 시각, 청각, 촉각 단일 알림 혹은 조합으로 제어권 전환 알림을 제공하고, 차량의 조향, 가속도, 횡방향 위치, 가속 페달 등의 차량 거동 정보를 분석했다.

Yun과 Yang4)은 자율주행 시스템이 전방에 사고를 경험하고 정차한 차량을 감지했을 때(예상하지 못한 ODD 종료)와 고속도로를 나가기 위해 차선을 변경할 때(예상한 ODD 종료) 시각, 청각, 촉각 단일 알림 혹은 조합으로 제어권 전환 알림을 제공했다. 그리고 운전자 행동 지표인 반응 시간, 차선 변경 시간, 차량 제어 지표인 차선 위치의 표준편차, 스티어링 휠 반전, 생체 지표인 피부 전도도의 반응 시간, 심박수 평균을 분석했다.

Lee와 Yang8)은 장애가 있는 차량이 전방 도로에 나타나는 상황(예상하지 못한 ODD 종료)과 도로의 출구를 향해 운전하는 상황(예상한 ODD 종료)에서 제어권 전환 알림을 제공했다. 실험 참가자들은 두 가지 상황에서 제어권 전환 시 차선 변경을 해야 했으며, 알림은 시각, 청각, 촉각 단일 알림 혹은 조합으로 제공되었다. 그리고 EEG stress, EEG attention, Relative gamma power spectrum과 같은 Electroencephalogram(EEG) 신호를 분석했다.

홍사라 등9)은 고속도로에서 전방에 정차 중인 사고 차량으로 인해 자율주행 상태가 해제되는 상황(예상하지 못한 ODD 종료)에서 4가지 청각 알림과 4가지 촉각 알림을 TOR로 제공했다. 그리고 사용자 지표(인지 시간, 반응 시간), 생체 지표(GSR amplitude, R-R interval 평균 등), 차량 지표(최대 가속도, 가스 페달 인풋 수 등), 설문 지표(무엇을 해야 하는지 명확하게 이해한 정도, 알림이 자율주행을 이용하는 데 도움이 된 정도 등)을 분석했다.

Yao 등10)은 고속도로에서 안개(예상하지 못한 ODD 종료), 경로 선택(예상한 ODD 종료), 차선 폐쇄(예상한 ODD 종료) 상황에서 청각 알림으로 TOR을 제공하고, 운전자의 반응 시간, 최대 종가속도 등을 분석했다.

이렇듯 지금까지 선행된 ODD 종료 연구는 예상한 혹은 예상하지 못한 ODD 종료 상황에서의 제어권 전환에 대한 연구를 중심으로 이루어져왔다. 제어권 전환뿐만 아니라 ODD 종료 전후의 운전자와 시스템의 대비책과 관련한 폭넓은 연구가 필요하다. 또한, 선행연구의 실험시나리오의 배경은 대부분 고속도로임을 알 수 있다. 고속도로 외 간선도로, 도심로, 시골길 등의 다양한 도로 유형이 고려된 연구가 필요하다.

2.2 이어콘 혹은 음성메시지를 평가한 연구

McKeown과 Isherwood11)는 차량 내 인터페이스의 후보로 청각 아이콘, 이어콘, 이어콘-아이콘 하이브리드, 환경 사운드, 음성메시지 등을 비교했다. 그 결과, 음성메시지는 식별 정확도가 높았고, 반응 시간이 빨랐으나, 위급함을 나타내기엔 충분하지 않다고 평가되었다.

Dingler 등12)은 청각 아이콘 이어콘, 음성메시지, 이어콘 등의 학습 가능성을 조사했다. 그 결과, 음성메시지와 이어콘은 다른 청각 인터페이스보다 훈련 주기가 짧고 정확도가 높았으며, 이는 배우기 쉬웠음을 의미한다. 반면, 이어콘은 다른 청각 인터페이스보다 훈련 주기가 길고 정확도가 낮았는데, 이는 배우기 어려웠음을 의미한다.

Vargas와 Anderson13)은 실험 참가자를 음성메시지 그룹과 이어콘과 음성메시지 그룹으로 나누고, 둘 중 한 가지의 알림으로 작업을 지시했을 때의 완성까지 걸리는 시간, 작업을 완료하는 데 필요한 키 입력 횟수 등을 비교했다. 그 결과, 이어콘과 음성메시지 그룹이 음성메시지 그룹에 비해 작업 시간이 더 오래 소요됐지만, 시간의 차이는 이어콘의 지속 시간보다 짧았다. 또한, 이어콘과 음성메시지 그룹이 음성메시지 그룹에 비해 키 입력 횟수가 더 적었다. 이는 이어콘과 음성메시지 그룹이 이어콘이 전달한 정보로부터 이익을 얻었다는 것을 암시한다.

이지원 등14)은 시각 알림인 텍스트를 경험할 때와 이어콘, 스피어콘(Spearcon), 음성메시지와 시각 알림이 결합된 모달리티를 경험할 때의 운전자의 반응 속도를 비교하였다. 그 결과, 시각 알림만 제공하는 것보다 시각과 청각 알림을 동시에 제공할 때 반응 속도가 빨랐다. 또한, 스피어콘 조합보다 이어콘 조합을 경험할 때 반응 속도가 빨랐다.

본 연구는 산업통상자원부의 <자동차전용도로/도심로 자율주행 시스템 개발 및 성능평가> 과제에서 수행된 연구의 후속연구이다. 선행 연구로, 자동차전용도로와 도심로에서 자율주행 종료 시 운전자에게 제공되는 청각 알림에 대한 기준을 제시했다. 목적지 도착, 운전자 요청, 운전자 실패로 인한 자율주행 종료 상황에서 제어권 전환 시 자동차전용도로, 도심로에서 이어콘과 음성메시지를 비교하였다. 그 결과, 대부분의 상황에서 반응 시간에 대한 이어콘과 음성메시지의 유의미한 차이는 없었으나, 운전자들은 이어콘보다 음성메시지를 선호했다. 차량의 현재 주행 상태와 운전자가 취해야 할 행동에 대한 구체적인 정보를 제시하기 때문이다. 반면, 이어콘과 음성메시지 동시 사용에 대한 운전자 니즈도 다수 있었다. 따라서 본 연구에서는 청각 알림으로 음성메시지와 이어콘과 음성메시지 조합을 비교했다.

3. 실험 설계

본 실험의 목표는 예상하지 못한 ODD 종료 상황과 주행 도로, 청각 알림에 따른 운전자의 감성 차이를 비교하여, 각 상황과 도로에 적절한 청각 알림의 종류와 그 지속시간을 도출하는 것이다.

3.1 실험 가설

실험 가설은 다음과 같다.

  • H1 예상하지 못한 ODD 종료 상황에 따른 운전자의 상황 인지도, 불안감, 신뢰도, 적합한 지속시간 차이가 존재한다.
  • H2 주행 도로에 따른 운전자의 상황 인지도, 불안감, 신뢰도, 적합한 지속시간 차이가 존재한다.
  • H3 청각 알림에 따른 운전자의 상황 인지도, 불안감, 신뢰도, 적합한 지속시간 차이가 존재한다.
  • H4 예상하지 못한 ODD 종료 상황, 주행 도로, 청각 알림 사이에서 발생할 수 있는 상호작용 효과가 존재한다.
3.2 독립변수

본 실험의 독립변수는 총 3가지로, 예상하지 못한 ODD 종료 상황, 도로 유형, 청각 알림이다. 각 독립변수 별 세부 내용은 Table 1과 같다.

Table 1 
Independent variables
Unplanned ODD exit situation Situation Image Description
Overspeeding (O) The automated driving system has exceeded the speed limit of the road due to the failure of the speed controller(20 % above the speed limit).
Off-route (R) Due to road construction, the automated driving system has been off the selected route (branching off).
Road type Road type Image Region Speed limit Distance Traffic density
Motorway (M) Shingal-Osan IC 100 km/h 3.2 km Los B (10 pc/km/l)
City road (C) Vicinity of Sangam-dong 50 km/h 1.9 km
Auditory alarm Alarm type Signal Image On/Off (ms) WPM (word per min) Repetition Volume (dB) Warning duration (s)
Single alarm (S) Speech - 150 ~ 200 1 70 3
Bi-alarm (B) Earcons 22 / 12 - 4 70 2
Speech - 150 ~ 200 1 70

3.2.1 예상하지 못한 ODD 종료 상황

본 실험에서 예상하지 못한 ODD 종료 상황은 제한 속도 초과 상황과 선정 경로 이탈 상황으로 선정하였다. 제한 속도 초과 상황은 차량이 자율주행 중 도로의 제한 속도를 초과하여 자율주행이 종료되는 상황이다. 본 실험에서는 실험 참가자의 이해를 돕기 위해 V2X 통신 불안정으로 인하여 시스템이 지역 및 도로를 인식하지 못해 속도가 초과된 상황으로 설계했다. 이때 초과 속도는 제한 속도의 20 %를 초과하도록 설정하였다. 이때 20 %는 본 연구진을 대상으로 한 예비 실험을 통해 도출된 수치다. 더 빠른 속도로 초과 시 실험의 혼재 변인이 될 가능성과 더 느린 속도로 초과 시 실험 참가자가 속도 초과를 인지하지 못할 가능성을 고려하였다.

선정 경로 이탈 상황은 차량이 자율주행 중 선정된 경로를 이탈하여 자율주행이 종료되는 상황이다. 본 실험에서는 실험 참가자들의 이해를 돕기 위하여 목적지에 도달하기 위한 경로로 주행 중 공사 구간을 맞닥뜨려 선정된 경로를 이탈한 상황으로 설계했다.

3.2.2 주행 도로

Czarnecki15)에 따르면, 일반적은 도로-환경 제한은 도로 유형을 포함하며, 도로 유형은 시골길, 도심로, 혹은 고속도로로 구성되어 있다. 본 연구에서는 주행 도로와 제한 속도에 따라서도 정보 제공 방법이 달라져야 함을 가정한다.

본 실험에서 주행 도로는 자동차전용도로와 도심로이다. 각 제한속도는 대한민국 도로교통법 시행규칙5)에 따라 자동차전용도로 중 고속도로의 최고속도인 100 km/h와 일반도로의 최고속도인 50 km/h로 설정했다. 두 가지 경우 모두 교통량은 LOS B(한 차로에 1 km당 10대의 차량 존재)이다.

3.2.3 청각 알림

이어콘은 Jeon16)의 연구에서 사용한 이어콘을 사용했다. 이 이어콘은 사인파를 사용하여 4번 반복되는 두 개의 주요 주파수를 포함했다(880, 1760 Hz).16) 음성메시지는 Papago의 TTS(Text to Speech)를 활용하였으며, 여성 화자의 목소리를 사용하였다. 비영어권에서는 여성 화자를 선호하기 때문이다.17) 음성메시지는 NHTSA가이드라인18)에서 제시한 Cautionary Warning으로 150-200 wpm의 속도로 2-3회 반복되게 설계했다. 경고 알림의 크기는 다른 소음보다 10 ~ 30 dB 높은 범위에 있어야 하며 최대 90 dB를 넘지 않아야 한다.18) 본 연구에서 이용한 차량 시뮬레이터의 주행 소음은 55 ~ 60 dB로, 알림음은 이보다 10 ~ 15 dB 높은 70 dB로 설계하였다. Jeon16)의 연구에서도 같은 음량을 사용하였다. Table 1의 Warning Duration은 위 요소들을 고려하여 설계된 알림의 1회 재생 시간을 측정한 값이다.

제한 속도 초과 상황에서의 음성메시지는 “제한 속도를 초과했습니다.”이고, 선정 경로 이탈 상황에서의 음성메시지는 “선정 경로를 이탈했습니다.”이다.

3.3 종속변수

종속 변수는 알림에 대한 상황 인지도, 불안감, 신뢰도, 적합한 지속시간, 선호 알림으로, Table 2와 같다. 모두 설문조사를 통해 취득되며, 설문 플랫폼으로 Survey Monkey를 사용했다. 상황 인지도, 불안감, 신뢰도, 적합한 지속시간은 매 시나리오가 끝날 때마다 진행되는 중간설문으로 취득된다. 선호 알림은 모든 시나리오 경험이 끝난 뒤 진행되는 사후설문으로 취득된다. 상황 인지도, 불안감, 신뢰도는 7점 리커트 척도로, 상황을 인지할 수 있었는지, 불안한 감정을 느꼈는지, 제공된 알림을 신뢰하는지에 대해 조사한다. 적합한 지속시간은 알림이 얼마나 지속되는 게 적합할지 1 ~ 15초 중 초단위로 선택할 수 있다. 선호 알림은 각 상황(OM, OC, RM, RC) 에서 어떤 알림을 더 선호하는지에 대해 선택할 수 있다. 보기는 ‘음성메시지’, ‘이어콘+음성메시지’, ‘잘 모르겠음’으로 구성되었다.

Table 2 
Dependent variables
Survey Variable Unit Description Examples Reference
Mid Situation awareness Point (7-Point Likert scale) Evaluation of whether the test subject can recognize the situation through the auditory alarm • Was the provided alarm suitable for understanding the situation? (Situation: Automated vehicle exceeding the speed limit or deviating from the selected route)
→ Option: 1: Not at all suitable /
4: Neutral / 7: Highly suitable		 Ito et al., 201619)
Anxiety Evaluation of whether the test subject feels insecure because of the auditory alarm • Were you anxious because you did not know how to respond to the provided alarm?
→ Option: 1: Not at all anxious /
4: Neutral / 7: Extremely anxious		 Joo et al., 201920)
Reliability Evaluation of how much the test subject trusts the auditory alarm • Do you feel that the provided alarm is reliable?
→ Option: 1: Not at all reliable /
4: Neutral / 7: Extremely reliable		 Miglani et al., 201621)
Suitable duration Sec. Evaluation of how long the auditory alarm should last • The alarm was provided for 6 s. Was the alarm duration appropriate?
→ Option: Too short / Appropriate / Too long (multiple choice)
• If a 6s alarm is too short, how long do you think it should be?
→ Option: Choice from 1 to 9 s
• If a 6s alarm is too long, how long do you think it should be?
→ Option: Choice from 1 to 6 s		 Shankar et al., 200722)
Post Preferred alarm Selective Selection of a preferred alarm between single-alert alarm and multi-alert alarm • Please select the preferred alarm in the overspeeding situation on a motorway.
→ Option: Speech / Earcons + Speech / Not sure		 -

3.4 실험 시나리오

시나리오는 자율주행모드로 시작되며, 자율주행 동안 운전자는 Non-Driving-Related Tasks(NDRT)로 영화 시청을 한다. 자동차전용도로에서는 약 1분간, 도심로에서는 약 2분간 차량이 자율주행을 수행한다. 각 도로의 주행 시간은 예비 실험을 통해 각 주행 상황에 충분히 몰입할 수 있는 시간으로 설정했다. 도심로는 자동차전용도로에 비해 주행 거리가 짧지만, 신호등이 있고 좌/우회전을 하기 때문에 자율주행 시간을 더 길게 설정했다. 예상하지 못한 ODD 종료 상황이 발생하면 차량은 운전자에게 청각 알림을 6초간 제공하고, 이어서 제어권 전환을 요청한다. 운전자는 제어권 전환을 받은 후 미리 안내한 목적지까지 수동주행을 한다.

대한민국의 ‘자동차 및 자동차부품의 성능과 기준에 관한 규칙’에 따르면, 운전자에게 제어권 전환 요청 후 10초 이내에 운전자의 대응이 없으면 위험최소화운행을 자동으로 시작해야 한다.5) 따라서 본 실험에서는 10초 이내에 상황에 대한 정보 알림 2회 이상과 제어권 알림을 모두 제공할 수 있도록 설계했으며, 예비 실험을 통해 정보 제공 알림을 6초로 설정했다.

학습 효과를 방지하기 위해 제어권 전환을 하지 않고 시스템이 최소위험조건으로 도달하는 시나리오 2개를 추가하였다. 시나리오 순서는 진행 순서에 의해 영향을 받지 않기 위해 실험 참가자마다 순서 배열을 랜덤하게 경험하도록 설정했다. 시나리오 구성은 Table 3과 같다.

Table 3 
Scenario configuration
Unplanned ODD exit situation Road type Auditory alarm Scenario Scenario (Abbr.)
Overspeeding (O) Motorway (M) Single alarm (S) #1 OMS
Bi-alarm (B) #2 OMB
City Road (C) Single alarm (S) #3 OCS
Bi-alarm (B) #4 OCB
Off-route (R) Motorway (M) Single alarm (S) #5 RMS
Bi-alarm (B) #6 RMB
City Road (C) Single alarm (S) #7 RCS
Bi-alarm (B) #8 RCB
Scenario to prevent learning effect Motorway (M) Single alarm (S) #9 -
Bi-alarm (B) #10 -

3.5 실험 참가자

중심극한정리(Central Limit Theorem)에 의하면 모집단의 분포에 상관없이 표본의 크기가 30을 초과하면 표본평균의 확률분포가 정규분포에 수렴한다.23) 따라서 본 연구에서는 통계 검정력과 비용 및 예산을 고려하여 40명을 대상으로 실험을 진행했다. 남성 20명, 여성 20명이며, 20, 30, 40, 50대별 남녀 각 5명으로 구성되었다. 그들의 평균 나이는 39.9세, 표준편차는 10.75세다. 운전 경력은 최소 1년, 최대 31년이며, 평균 운전 경력은 약 11.6년, 표준편차 9.2년이다. 본 실험은 국민대학교 생명윤리위원회(IRB)로부터 승인을 받았으며, 그 규정을 준수하였다(KMU-201803-HR-174).

3.6 실험 장비

2016년식의 LF쏘나타를 기반으로 제작된 Full Scale Driving Simulator인 KMU-DS를 이용하였다(Fig. 1). 3개의 프로젝터 스크린과 2개의 LCD 사이드미러 및 1개의 LCD 백미러로 운전자에게 시뮬레이션 영상이 제공되었다. 또한 캐빈 내부에 설치된 카메라를 통해 운전자를 모니터링할 수 있었다. 소프트웨어로는 AV Simulation 사의 SCANeR ver. 2021을 사용하여 시나리오를 구현하고 주행데이터를 측정했다. 캐빈 내 5.1 채널 스피커를 통해 청각 알림을 제공했다. 또한, 캐빈 내의 태블릿 PC와 퓨전소프트 사의 Center Information Display(CID) 어플리케이션을 이용하여 운전자에게 주행 경로, 속도, 돌발 상황 발생 등의 시각 알림을 제공했으며, 터치를 이용하여 자율주행 모드를 On/Off로 조작했다.


Fig. 1 
Test apparatus(KMU-DS)

3.7 실험 절차

실험 참가자는 실험에 대한 전반적인 설명을 듣고 그 과정에 동의하면 IRB 실험 동의서를 작성했다. 이후 시뮬레이터에 탑승하여 시트 위치 등을 자신에게 맞게 조정한 뒤 차량 시뮬레이터 조작에 익숙해질 때까지 연습주행을 실시했다. 연습주행 종료 후, 실험 참가자는 학습 효과 방지를 위한 시나리오를 포함하여 총 10개의 시나리오를 경험했다. 한 시나리오가 끝날 때마다 설문조사를 진행하여 직전에 경험한 청각 알림에 대한 평가를 진행한다. 10가지 시나리오 종료 후, 예상하지 못한 ODD 종료 상황과 주행 도로에 따라 청각 알림의 선호도 평가를 진행했다. 실험 진행자가 취득된 데이터를 확인 후 실험을 종료했다.

4. 실험 결과

예상하지 못한 ODD 종료 상황, 주행 도로, 청각 알림에 따라 운전자의 상황 인지도, 불안감, 신뢰도, 적합한 지속시간의 기술⋅추론통계분석을 진행하였다. 통계 검정 방법으로 Three-way RM ANOVA를 사용하였다(α = 0.05). 선호 알림에 대해서는 기술통계 분석을 진행하였다. Table 4는 기술통계표, Table 5는 추론통계표다.

Table 4 
Descriptive statistics of situation awareness, anxiety, reliability, appropriate duration, and preferred alarm type
DV Situation awareness [p] Anxiety [p] Reliability [p] Suitable duration [s] Preferred alarm [N(%)]
Source Mean SD Mean SD Mean SD Mean SD Single alarm selection Multi alarm selection
Unplanned ODD exit situation (A) O 5.963 0.987 2.350 1.329 5.913 1.021 6.238 1.825 14
(17.5 %)		 66
(82.5 %)
R 5.675 1.316 2.606 1.509 5.725 1.172 6.525 2.219 15
(18.75 %)		 65
(81.25 %)
Road type (B) M 5.763 1.232 2.575 1.506 5.775 1.156 6.356 1.998 13
(16.25 %)		 67
(83.75 %)
C 5.875 1.105 2.381 1.336 5.863 1.046 6.406 2.075 16
(20 %)		 64
(80 %)
Auditory alarm (C) S 5.788 1.169 2.463 1.423 5.869 1.025 6.475 2.097 - -
M 5.850 1.174 2.494 1.432 5.769 1.174 6.288 1.970 - -
A × B OM 5.825 1.170 2.500 1.396 5.800 1.134 6.175 1.856 6
(15 %)		 34
(85 %)
OC 6.100 0.735 2.200 1.239 6.025 0.880 6.300 1.792 8
(20 %)		 32
(80 %)
RM 5.700 1.288 2.650 1.605 5.750 1.178 6.538 2.115 7
(17.5 %)		 33
(82.5 %)
RC 5.650 1.343 2.563 1.404 5.700 1.166 6.513 2.318 8
(20 %)		 32
(80 %)
A × C OS 5.913 1.002 2.375 1.400 5.938 1.017 6.413 1.954 - -
OB 6.013 0.968 2.325 1.253 5.888 1.025 6.063 1.668 - -
RS 5.663 1.303 2.550 1.440 5.800 1.030 6.538 2.230 - -
RM 5.688 1.328 2.663 1.573 5.650 1.295 6.513 2.208 - -
B × C MS 5.688 1.281 2.600 1.546 5.863 1.069 6.600 2.251 - -
MB 5.838 1.177 2.550 1.465 5.688 1.231 6.113 1.673 - -
CS 5.888 1.037 2.325 1.273 5.875 0.979 6.350 1.924 - -
CB 5.863 1.170 2.438 1.395 5.850 1.108 6.463 2.213 - -
A × B × C OMS 5.750 1.171 2.600 1.549 5.825 1.174 6.450 1.947 - -
OMB 5.900 1.194 2.400 1.257 5.775 1.121 5.900 1.766 - -
OCS 6.075 0.797 2.150 1.231 6.050 0.846 6.375 2.009 - -
OCB 6.125 0.686 2.250 1.276 6.000 0.934 6.225 1.593 - -
RMS 5.625 1.409 2.600 1.582 5.900 0.982 6.750 2.560 - -
RMB 5.775 1.187 2.700 1.667 5.600 1.355 6.325 1.591 - -
RCS 5.700 1.224 2.500 1.320 5.700 1.091 6.325 1.886 - -
RCB 5.600 1.482 2.625 1.514 5.700 1.265 6.700 2.719 - -

Table 5 
Inferential statistics of situation awareness, anxiety, reliability, and appropriate alarm duration
DV Situation awareness Anxiety Reliability Suitable duration
F p η2 F p η2 F p η2 F p η2
Unplanned ODD Exit situation (A) 5.876 0.020* 0.131 4.617 0.038* 0.106 6.673 0.014* 0.146 2.909 0.096 0.069
Road type (B) 1.519 0.225 0.037 3.432 0.072 0.081 1.282 0.264 0.032 0.088 0.768 0.002
Auditory alarm (C) 0.234 0.632 0.006 0.092 0.763 0.002 0.893 0.351 0.022 1.961 0.169 0.048
A × B 2.431 0.127 0.059 0.910 0.346 0.023 1.888 0.177 0.046 0.371 0.546 0.009
A × C 0.328 0.570 0.008 0.555 0.461 0.014 0.457 0.503 0.012 1.104 0.300 0.028
B × C 1.067 0.308 0.027 1.000 0.323 0.025 1.045 0.313 0.026 1.977 0.168 0.048
A × B × C 0.142 0.708 0.004 0.457 0.503 0.012 0.787 0.380 0.020 0.437 0.513 0.011

4.1 예상하지 못한 ODD 종료 상황에 따른 운전자의 감성 차이(H1)

예상하지 못한 ODD 종료 상황에 따른 운전자의 상황 인지도, 불안감, 신뢰도에 유의미한 차이가 존재했다. 상황 인지도는 제한 속도 초과 상황(m = 5.963)이 선정 경로 이탈 상황(m = 5.675)보다 유의미하게 높았다[FSituation Awareness(1, 39) = 5.876, p = 0.020]. 불안감은 제한 속도 초과 상황(m = 2.350)이 선정 경로 이탈 상황(m = 2.606)보다 유의미하게 낮았다[FAnxiety(1, 39) = 4.617, p = 0.038]. 신뢰도는 제한 속도 초과 상황(m = 5.913)이 선정 경로 이탈 상황(m = 5.725)보다 유의미하게 높았다[FReliability(1, 39) = 6.673, p = 0.014]. 알림의 적합한 지속시간에는 유의미한 차이가 없었다[FSuitable Duration(1, 39) = 2.909, p = 0.096]. Fig. 2는 예상하지 못한 ODD 종료 상황에 대한 상황 인지도, 불안감, 신뢰도의 차이를 보여준다. 선호 알림으로 이중 알림을 선택한 사람은 선정 경로 이탈 상황, 제한 속도 초과 상황에서 각 66명(82.5 %), 65명(81.25 %) 이다. 이는 단일 알림을 선택한 사람 각 14명(17.5 %), 15명(18.75 %)에 비해 압도적으로 높았다.


Fig. 2 
Box plot of comparison of situation awareness, anxiety, and reliability according to unplanned ODD exit situations (overspeeding, off-route)

4.2 주행 도로에 따른 운전자의 감성 차이(H2)

주행 도로에 따른 운전자의 상황 인지도, 불안감, 신뢰도, 적합한 지속시간에 유의미한 차이가 존재하지 않았다[FSituation Awareness(1, 39) = 1.519, p = 0.225; FAnxiety(1, 39) = 3.432, p = 0.072; FReliability(1, 39) = 1.282, p = 0.264; FSuitable Duration(1, 39) = 0.088, p = 0.768].

선호 알림으로 이중 알림을 선택한 사람은 선정 경로 이탈 상황, 제한 속도 초과 상황에서 각 67명(83.75 %), 64명(80 %) 이다. 이는 단일 알림을 선택한 사람 각 13명(16.25 %), 16명(20 %)에 비해 압도적으로 높았다.

4.3 청각 알림에 따른 운전자의 감성 차이(H3)

청각 알림에 대한 운전자의 상황 인지도, 불안감, 신뢰도, 지속시간 선호도에 유의미한 차이가 존재하지 않았다[FSituation Awareness(1, 39) = 0.234, p = 0.632; FAnxiety(1, 39) = 0.092, p = 0.763; FReliability(1, 39) = 0.893, p = 0.351; FSuitable Duration(1, 39) = 1.961, p = 0.169]. 일부 운전자는 이어콘이 긴급 상황을 알리는 데는 효과적이지만 불안감을 준다고 느꼈다.

4.4 예상하지 못한 ODD 종료 상황, 주행 도로, 청각 알림 사이에서 발생할 수 있는 상호작용 효과(H4)

예상하지 못한 ODD 종료 상황, 주행 도로, 청각 알림 사이에서 발생할 수 있는 상호작용 효과는 존재하지 않았다.

예상하지 못한 ODD 종료 상황(A)과 주행 도로(B)의 상호작용에 따른 상황 인지도, 불안감, 신뢰도, 적합한 지속시간에 유의미한 차이는 없었다[FSituation Awareness(1, 39) = 2.431, p = 0.127; FAnxiety(1, 39) = 0.910, p = 0.346; FReliability(1, 39) = 1.888, p = 0.177; FSuitable Duration(1, 39) = 0.371, p = 0.546]. 선호 알림으로 이중 알림을 선택한 사람은 OM, OC, RM, RC에서 각 34명(85 %), 32명(80 %), 33명(82.5 %), 32명(80 %)이다. 이는 단일 알림을 선택한 사람 각 6명(15 %), 8명(20 %), 7명(17.5 %), 8명(20 %)에 비해 압도적으로 높았다.

예상하지 못한 ODD 종료 상황(A)과 청각 알림(C)의 상호작용에 따른 상황 인지도, 불안감, 신뢰도, 적합한 지속시간에 유의미한 차이는 존재하지 않았다[FSituation Awareness(1, 39) = 0.328, p = 0.570; FAnxiety(1, 39) = 0.555, p = 0.461; FReliability(1, 39) = 0.457, p = 0.503; FSuitable Duration(1, 39) = 1.104, p = 0.300].

주행 도로(B)와 청각 알림(C)의 상호작용에 따른 상황 인지도, 불안감, 신뢰도, 적합한 지속시간에 유의미한 차이는 존재하지 않았다[FSituation Awareness(1, 39) = 1.067, p = 0.308; FAnxiety(1, 39) = 1.000, p = 0.323; FReliability(1, 39) = 1.045, p = 0.313; FSuitable Duration(1, 39) = 1.977, p = 0.168].

예상하지 못한 ODD 종료 상황과 주행 도로, 그리고 청각 알림의 상호작용에 따른 상황 인지도, 불안감, 신뢰도, 지속시간 선호도에 유의미한 차이는 존재하지 않았다[FSituation Awareness(1, 39) = 0.142, p = 0.708; FAnxiety(1, 39) = 0.457, p = 0.503; FReliability(1, 39) = 0.787, p = 0.380; FSuitable Duration(1, 39) = 0.437, p = 0.513].

5. 결 론

본 연구에서는 SAE 레벨 3 수준 부분 자율주행차량이 계획되지 않은 상태에서 ODD 한계를 벗어났을 때, 제어권 전환 요청 전에 운전자에게 제공해야 하는 적절한 정보 제공 방법과 지속시간을 도출하기 위해 실험을 설계하였다. 가상환경 기반의 차량 시뮬레이터를 이용하여, 40명을 대상으로 Human-in-the-loop 실험을 진행하고 데이터를 취득하였다. 취득한 데이터를 예상하지 못한 ODD 종료 상황(제한 속도 초과, 선정 경로 이탈), 주행 도로(자동차전용도로, 도심로), 청각 알림(단일 청각 알림, 이중 알림)에 따른 운전자의 감성(상황 인지도, 불안감, 신뢰도, 적합한 지속시간, 선호 알림)에 대해 비교하였다.

비교 결과, 예상하지 못한 ODD 종료 상황에 따른 상황 인지도, 불안감, 신뢰도에 유의미한 차이가 있었다. 제한 속도 초과 상황이 선정 경로 이탈 상황보다 상황 인지도, 신뢰도가 높았으며, 불안감이 낮았다. 따라서 더 많은 예상하지 못한 ODD 종료 상황에서의 연구 진행이 필요하다.

실험 참가자 중 81.87 %는 청각 알림으로 단일 알림보다 이중 알림을 선호했다. 이중 알림의 이어콘이 어떠한 상황이 발생했음을 지각하는 데 도움을 주기 때문이다. 하지만, 이어콘이 위급함을 알리기에는 좋으나 불안감을 느끼게 한다는 실험 참가자 의견이 있었다.

예상하지 못한 ODD 종료 상황, 주행 도로, 그리고 청각 알림에 관계없이 대부분의 실험 참가자는 알림의 적합한 지속시간으로 6초를 가장 많이 선택했다. 이는 모든 시나리오에서 동일하게 정보 제공 시간을 6초 동안 제공하였기 때문으로 추측된다. 추후 다양한 시간대로 얼마만에 상황 인지를 하는지 등에 대한 실험이 필요하다.

본 연구에서는 운전자의 ‘상황 인지’에 초점을 맞추어 연구가 진행되어, 상황에 대한 정보와 TOR을 따로 제공했다. 두 알림을 따로 제공했을 때와 같이 제공했을 때의 운전자의 반응 속도나 상황 인지도 등의 차이를 비교하는 연구가 필요하다.

연구 결과는 자율주행 시스템 운전자 관점 인터페이스 정보 설계 가이드라인인 ‘자동차전용도로/도심로 자율주행 시스템 운전자 관점 정보 제공 가이드라인’에 활용되었다.

Nomenclature
CID : center information display
MRC : minimal risk condition
ODD : operational design domain
TOR : take over request
Acknowledgments

본 연구는 산업통상자원부 산업기술혁신사업[10079730, 자동차전용도로⋅도심로 자율주행 시스템 개발 및 성능평가; 20018101, T-Car 기반 자율주행 인지예측/지능제어 차량부품/시스템 통합평가 기술개발]의 지원을 받아 수행되었습니다. 또한, 2023년도 정부(산업통상자원부)의 재원으로 한국산업기술진흥원의 지원을 받았으며[P0020536, 2023년 산업혁신인재성장지원사업], 과학기술정보통신부 지원 한국연구재단(NRF)의 중견연구사업[2021R1A2C1005433, 시뮬레이터를 활용한 미래모빌리티 HMI 이슈 연구]의 지원을 받았습니다.

References
1. L. Staplin, T. Mastromatto, K. H. Lococo, W. Kenneth, K. W. Gish and J. O. Brooks, “The Effects of Medical Conditions on Driving Performance (Report No.DOT HS 812 623),” Washington DC, National Highway Traffic Safety Administration, 2018.
2. Society of Automotive Engineers, Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles, 2018.
3. H. Clark, A. C. McLaughlin and J. Feng, “Situational Awareness and Time to Takeover: Exploring an Alternative Method to Measure Engagement with High-Level Automation,” Proceedings of the Human Factors and Ergonomics Society Annual Meeting, Vol.61, No.1, pp.1452-1456, 2017.
4. H. Yun and J. Yang, “Multimodal Warning Design for Take-over Request in Conditionally Automated Driving,” European Transport Research Review, Vol.12, pp.1-11, 2020.
5. Ministry of Land, Infrastructure and Transport, Rules on the Performance and Standards of Automotive and Automotive Components, Korea, 2020.
6. S. J. Baek and J. Yang, “Automated Driving System GUI Level Study From the User’s Perspective,” Transactions of KSAE, Vol.28, No.8, pp.563-570, 2020.
7. J. W. Kim and J. Yang, “Understanding Metrics of Vehicle Control Take-over Requests in Simulated Automated Vehicles,” Int. J. Automotive Technology, Vol.21, pp.757-770, 2020.
8. J. Lee and J. Yang, “Analysis of Driver’s EEG Given Take-Over Alarm in SAE Level 3 Automated Driving in a Simulated Environment,” Int. J. Automotive Technology, Vol.21, pp.719-728, 2020.
9. S. Hong, J. W. Kim, S. J. Baek and J. Yang, “Simulator Study on Take-over Request in Partially Automated Vehicle Using Auditory and Haptic Modality,” Transactions of KSAE, Vol.28, No.6, pp.401-411, 2020.
10. H. Yao, S. An, H. Zhou and M. Itoh, “How Does Driver Takeover Worsen in a Sudden System Failure of Conditionally Automated Driving?,” 2020 59th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE), IEEE, pp.1469-1474, 2020.
11. D. McKeown and S. Isherwood, “Mapping Candidate Within-vehicle Auditory Displays to Their Referents,” Human Factors, Vol.49, No.3, pp.417-428, 2007.
12. T. Dingler, J. Lindsay and B. Walker, “Learnabiltiy of Sound Cues for Environmental Features: Auditory Icons, Earcons, Spearcons, and Speech,” International Community for Auditory Display, pp.1-6, 2008.
13. M. L. Vargas and S. Anderson, “Combining Speech and Earcons to Assist Menu Navigation,” Proceedings of the 2003 International Conference on Auditory Display, pp.38-41, 2003.
14. J. Lee, H. Yun, J. W. Kim, S. Baek, H. Han, S. M. FakhrHosseini, E. Vasey, O. Lee, M. Jeon and J. Yang, “Design of Single-modal Take-over Request in SAE Level 2 & 3 Automated Vehicle,” Transactions of KSAE, Vol.27, No.3, pp.171-183, 2019.
15. K. Czarnecki, “Operational Design Domain for Automated Driving Systems: Taxonomy of Basic Terms,” Waterloo Intelligent Systems Engineering (WISE) Lab, University of Waterloo, Canada, 2018.
16. M. Jeon, “Multimodal Displays for Take-over in Level 3 Automated Vehicles While Playing a Game,” Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems, pp.1-6, 2019.
17. P. Bazilinskyy and J. de Winter, “Auditory Interfaces in Automated Driving: An International Survey,” PeerJ Computer Science, Vol.1, e13, 2015.
18. J. L. Campbell, J. L. Brown, J. S. Graving, C. M. Richard, M. G. Lichty, T. Sanquist and J. L. Morgan, “Human Factors Design Guidance for Driver-vehicle Interfaces(Report No.DOT HS 812 360),” Washington DC, National Highway Traffic Safety Administration, 2016.
19. T. Ito, A. Takata and K. Oosawa, “Time Required for Take-over from Automated to Manual Driving,” SAE 2016-01-0158, 2016.
20. H. H. Joo, C. Y. Kang and J. H. Choi, “Study on the Effect of Safety Perception According to Information Providing Method in Autonomous Driving Environment,” Journal of Digital Contents Society, Vol.20, No.8, pp.1577-1584, 2019.
21. A. Miglani, C. Diels and J. Terken, “Compatibility between Trust and Non-driving Related Tasks in UI Design for Highly and Fully Automated Driving,” Adjunct Proceedings of the 8th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, pp.75-80, 2016.
22. A. Shankar, S. J. Louis, S. Dascalu, L. J. Hayes and R. Houmanfar, “User-context for Adaptive user Interfaces,” Proceedings of the 12th International Conference on Intelligent User Interfaces, pp.321-324, 2007.
23. H. Lee, Statistics, Korean Studies Information, Gyeonggi, Korea, 2012.
 
Trans. Korean Soc. Auto. Eng. (KSAE) [pISSN 1225-6382 / eISSN 2234-0149]
- Production Office The Korean Society of Automotive Engineers
· 13th Fl. Paradise Venture Tower, 21 Teheran-ro 52-gil, Gangnam-gu, Seoul 06212, Korea
· TEL: 02-564-3971, FAX: 02-564-3973 · E-mail: manage@ksae.org
- Trans. KSAE launched 1993 and published by KSAE.