The Korean Society Of Automotive Engineers
[ 응 용 논 문 ]
Transactions of The Korean Society of Automotive Engineers - Vol. 27, No. 3, pp.171-183
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Mar 2019
Received 27 Sep 2018 Revised 06 Nov 2018 Accepted 07 Nov 2018
DOI: https://doi.org/10.7467/KSAE.2019.27.3.171

SAE 기반 레벨 2 및 레벨 3 부분자율주행자동차의 제어권 전환 상황 단일 모달리티 알림방법 설계

이지원1) ; 윤한나1) ; 김재원1) ; 백수진1) ; 한현서1) ; 마리암 파크호쎄이니2) ; 에릭 베이시3) ; 이옥근4) ; 전명훈5) ; 양지현*, 1)
1)국민대학교 자동차공학전문대학원
2)미시간 공과대학교 인지학습과학과
3)미시간 공과대학교 컴퓨터과학과
4)스탠포드대학교 스탠포드디자인연구센터
5)버지니아 공과대학교 산업시스템공학과
Design of Single-modal Take-over Request in SAE Level 2 & 3 Automated Vehicle
Jiwon Lee1) ; Hanna Yun1) ; Jaewon Kim1) ; Sujin Baek1) ; Hyunseo Han1) ; Maryam FakhrHosseini2) ; Eric Vasey3) ; Okkeun Lee4) ; Myounghoon Jeon5) ; Ji Hyun Yang*, 1)
1)Graduate School of Automotive Engineering, Kookmin University, Seoul 02707 Korea
2)Department of Cognitive and Learning Sciences, Michigan Technological University, Houghton 49931 USA
3)Department of Computer Science, Michigan Technological University, Houghton 49931 USA
4)Center for Automotive Research at Stanford, Stanford University, Stanford 94305 USA
5)Grado Department of Industrial and Systems Engineering, Virginia Polytechnic Institute and State University, Blacksburg 24061 USA

Correspondence to: *E-mail: yangjh@kookmin.ac.kr


Copyright Ⓒ 2019 KSAE / 160-02
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.

Abstract

Recently, cutting-edge technology has led to the development of automated vehicles, but the limitations of the related technology may lead to hazardous situations. This resulted in the remarkable significance of the interaction between automated vehicles and drivers. In particular, the transition between the driver and the automated vehicle in accordance with Level 3 of SAE J3016 is inevitable, and guidelines or standards regarding the takeover should be provided. Therefore, we aim to prepare the safety guidelines for the takeover and to conduct a comparative test. First, guidelines for visual, auditory, and haptic displays in existing vehicles were examined. Second, preliminary research was conducted on the modality of automated vehicles. Third, we carried out a modality investigation regarding the partially automated vehicle. Based on this, we proposed visual, auditory, and haptic signals for each modality. This will serve as a significant starting point for future research based on multimodal methods.

Keywords:

Automated vehicle, Take over, DVI, Visual interface, Auditory interface, Haptic interface, Single-modal alarm

키워드:

자율주행차량, 제어권 전환, Driver-Vehicle Interaction, 시각 인터페이스, 청각 인터페이스, 촉각 인터페이스, 단일 알림

1. 서 론

최근 자율주행 기술 개발이 고도화 되어 부분자율주행차량이 양산되기 시작하면서, 자율주행차량 운행에 따른 다양한 상황에 대한 연구가 진행되고 있다. 하지만, Society of Automotive Engineers(SAE) 기준 자동화 레벨 2 또는 3의 자율주행차량에서 차량과 운전자 간의 제어권 전환 상황은 불가피하다.1) 이러한 제어권 전환 상황 발생 시 운전자와 시스템 간의 적절한 의사소통을 도모하는 Driver-Vehicle Interaction(DVI)에 대한 심도 깊은 연구가 필요하다.2) 현재 차량 인터페이스 및 알림 방법에 대한 기준 및 가이드라인이 존재하지만, 이는 부분자율주행 상황을 고려하지 않았기 때문에 제어권 전환 알림방법으로의 적절성이 검증된 바가 없다. 따라서 본 연구는 현존하는 차량 인터페이스에 대한 인적 요소 설계 권고사항, 현재까지 양산된 부분자율주행 차량의 알림방법, 제어권 전환 알림 방법에 대한 선행연구의 분석을 바탕으로 단일 모달리티 알림방법 초안을 제시하고자 한다. 이 결과는 자율주행 제어권 전환 멀티모달 알림방법 도출을 위한 연구의 착수점을 제시하는 것에 의의가 있다.


2. 자율주행 차량에서 제어권 전환 알림의 필요성

자율주행차량이란 사람의 영향 없이 주행, 조종 및 주차가 가능한 자동차를 말하며, 자율주행차량의 핵심 토대인 자율주행기술이 고도로 발전된 상태에 있는 자동차에 초점을 맞춘 것이다.32) SAE J30163)에서는 자율주행차량을 자동화 수준에 따라 레벨을 나누었다. 자동화 레벨 3단계의 자율주행차량은 운전자가 종 방향과 횡 방향 제어 및 주행상황을 모니터링 하지 않으며, 위급상황에서 운전 제어권을 넘겨받아야 한다.

즉, 자율주행 3단계에서의 제어권 전환이란, 자율주행 시스템이 해제 되어 차량의 제어권이 자율주행 시스템에서 차량에 탑승 중인 운전자에게 넘어가는 경우이다. 기존 일반차량과는 달리 자동화 레벨 3단계의 자율주행차량은 운전자가 주행상황 모니터링 의무가 없기 때문에, 운전자의 상황 인식시간이 길어짐에 따라 이를 중재하기 위한 매개체가 필수적이다.

비자율주행차량에서 운전자는 지속적으로 주변 환경을 모니터링하면서 차량 제어에 개입하고 있었기 때문에 주행환경에 대해 충분히 인지하고 있다고 판단할 수 있다. 하지만 자율주행모드에서 제어권 전환 상황이 발생할 경우, 시스템에게 운전 제어권이 있었으므로 운전자에게 주행환경을 인지할 수 있는 충분한 시간과 상황 안내에 대한 적절한 경보가 필요하다. 이에 따라 차량에서의 알림 시스템을 발전시켜 제어권 전환 상황에 적절한 알림 모달리티를 운전자에게 전달하여 운전자가 안전하게 제어권 전환을 받는 시스템 연구가 필요하다.

이에 본 연구에서는 제어권 전환에 필요한 단일 모달리티 알림을 시각, 청각, 촉각 세 가지로 나누어 제시하였다. 일반 차량에서의 알림 기준 조사, 제어권 전환 알림에 대한 선행 연구 조사, 차량제조업체(OEM)의 차량 내부 알림 조사를 통하여 자율주행차량의 제어권 전환 상황에서의 단일 모달리티 알림 신호 안을 제시하였다.


3. 비 자율주행차량 알림 모달리티 가이드라인 분석 결과

미국 도로교통안전국 NHTSA에서 공표한 Human Factors Design Guidance For Driver-Vehicle Interfaces4) 문서에서는 운전자 인터페이스(DVI)에 대한 인적 요소 설계 지침을 제공한다. 이 문서에는 Table 1과 같이 차량과 운전자 간의 인터페이스 요소를 시각, 청각, 촉각 인터페이스로 구분하여 긴급 상황에서 운전자에게 알림을 제공시 고려해야하는 요소를 명시하고 있다. 본 논문의 3.1절부터 3.3절은 NHTSA4)의 운전자 인터페이스에 대한 인적 요소 설계 지침 내용을 요약하여 정리하였다.

Summary of single-modal alarm design from NHTSA report4)

3.1 시각적 알림 모달리티 NHTSA 가이드라인 분석 결과

시각적 인터페이스는 알림 위치, 색상, 알림 아이콘 및 텍스트 선정, 알림 크기가 주된 고려 요소이다. 이런 요소들을 고려하여 다양한 상황에서의 시각적 알림을 운전자에게 전달할 수 있다. 앞 차와의 간격이 가까운 상황에서는 계기판에 구두 해석이 필요 없는 간단한 아이콘 알림을 제공하는 것이 효과적이며, 긴급한 상황에서는 빨간색 알림에 깜빡이는 효과를 추가하는 것을 권고한다.

3.2 청각적 알림 모달리티 NHTSA 가이드라인 분석 결과

청각적 인터페이스는 긴급성 정도, 음량, 주파수, 지향성, 음성 기반 경고가 주된 고려 요소이다. 긴급성을 높일 경우는 고주파에 빠른 신호, 무작위 배음, 넓은 음역을 사용하는 것이 효과적이다. 알림의 음량은 주변 소음 보다 15~30 dB 크게 유지하고 90 dBa를 넘지 않는 것이 운전자를 방해하지 않는다. 보통 알림 음고(주파수)는 500 ~ 2500 Hz 범위 내로 정한다. 또한 음성 기반 경고 시 시각이나 촉각과 같은 다른 감각 기관과 함께 사용하며 분당 150 ~ 200 단어의 속도로 짧은 구 또는 한 단어만 사용하는 것이 알림에 효과적이다.

3.3 촉각적 알림 모달리티 NHTSA 가이드라인분석 결과

촉각적 인터페이스는 알림 위치, 인지성, 방향성이 주된 고려 요소이다. 스티어링 휠, 운전자 시트, 가속 페달, 안전벨트 등과 같이 운전자의 신체 접촉이 있는 위치에 촉각적 알림을 운전자에게 전달할 수 있다. 인간의 감도는 200 ~ 250 Hz에서 가장 높기 때문에, 이 범위에서의 촉각적 알림을 사용하는 것이 알림 전달에 효과적이다. 또한 인간의 감각 수용기의 밀집도가 신체 부위마다 다르기 때문에 진동 모터 사이 간격을 최소 4 cm 이상으로 설계해야 한다.


4.자율주행차량 알림방법 선행연구 결과

본 연구에서는 자동화 레벨 2 또는 3에 해당하는 차량이 자율주행모드에서 제어권 전환 상황 시 운전자에게 알림을 전달하는 내용의 논문을 조사하여 정리하였다. 제어권 전환 상황에서 시각, 청각, 촉각 디스플레이를 이용해 운전자에게 알림을 전달하는 방법과 각각의 알림에 대한 효과 혹은 연구 결과에 대한 내용을 중점적으로 정리하였다.

4.1 시각 알림방법 선행연구 조사 결과

시각 선행연구는 자율주행차량이 시각적 알림을 사용하여 제어권 전환 요청(TOR)하는 경우, 알림에 대한 운전자의 대응시간 혹은 운전자의 상황 인지효과, 알림의 효율성에 대한 연구가 주로 이루어 졌다(Table 2). 시각 알림은 대부분 운전자의 시야에 잘 보이는 클러스터나 HUD(Head up display)에 시각 디스플레이가 배치되었고, 단어와 아이콘 LED 램프를 통해 운전자에게 신호를 전달하였다. 긴급 상황 시에는 알림 색상의 변화와 깜박임으로 운전자에게 상황을 전달하였다.

Visual modality related studies on take-over-request(TOR) situation in automated vehicles

Walch 등5)과 연구진들은 제어권 전환 상황을 나누고 상황별로 효과적인 알림을 도출하였다. 시각 알림은 “Caution”이라는 단어를 시각적으로 운전자에게 전달하였고, 결과적으로 급격한 커브 상황에서 시각 알림을 주는 것이 제어권 전환에 가장 효과적이라고 명시하고 있다.

Baldwin 등6)외 연구진들은 제어권 전환 시간을 독립변수로 두었고, 종속변수로는 운전자의 긴급성으로 설정하였다. 제어권 전환 요청 시각 알림은 “Warning”이라는 단어를 사용하였다. 그 결과, 오랜 시간 시각 자극을 주는 것이 운전자의 긴급성이 높아진다는 결론이 도출되었다.

Eriksson 등7)의 연구에서는 제어권 전환 표시를 화살표, 선형, 구형 모양의 시각 알림을 사용하였다. 운전자가 가장 안전하고 빠르게 제어권 전환을 받은 알림은 화살표 알림이었다.

Borojeni 등8)과 그 외 연구진들은 클러스터 위에 72 개의 LED를 일직선으로 위치시켜 여러 가지 패턴으로 시각 신호를 운전자에게 전달하였다. 실험결과, 고정된 패턴의 LED 알림 보다는 방향성을 띄는 패턴의 LED 알림이 가장 효율적인 제어권 전환 신호라는 결론이 도출되었다.

Melcher 등15)과 그 외 연구진들은 제어권 전환 신호로 계기판의 중앙 디스플레이에 아이콘과 텍스트 형식의 메시지가 포함된 알림을 사용하였다. 그 결과 1.4 초 ~ 6.7 초 범위의 제어권 전환 응답 시간이 도출되었다.

Petermeijer 등9)과 연구진들은 제어권 전환 시 각각의 단일 알림과 단일 알림을 조합한 멀티모달 알림을 운전자에게 전달하여 제어권 전환에 가장 효과적인 알림을 도출하는 실험을 진행하였다. 긴급함을 전달함에 있어서, 청각보다는 시각 알림이 제어권 전환에 효과적이며, 시각과 청각, 시각과 촉각이 조합된 멀티모달이 단일 시각 알림보다 제어권 전환에 효과적이라는 결론이 도출되었다.

Lewis 등10)과 연구진들은 제어권 전환 시, 멀티모달 알림과 단일 모달리티 기반의 알림을 전달하였다. 단일 모달리티 기반 신호는 시각 단일 알림을 사용하였고, 지속시간은 2500 ms이다. 그 결과, 운전자의 주의가 산만해질 경우, 단일 모달리티 신호보다는 멀티모달 신호가 운전자의 주의를 환기시키는데 효과적이라는 결과가 도출되었다.

Koo 등11) 외 연구진들은 차량 거동과 외부 환경에 대한 정보가 있는 텍스트를 운전자에게 제어권 전환 신호 알림으로 전달하였다. 연구 결과, 긴급한 상황에서는 외부 환경에 대한 메시지만 제공하는 것이 효과적이라는 결과가 도출되었다.

4.2 청각 알림방법 선행 연구 조사 결과

자율주행에서 제어권 전환 시 청각적 알림은 단일 모달리티 신호로 쓰이는 것보다는 시각과 함께 멀티모달 신호로 사용되는 경우가 많다. 제어권 전환 청각 신호에 대한 연구는 보통 운전자의 선호도와 운전자 대응 시간에 대한 연구가 많이 이루어 졌다(Table 3).

Auditory modality related studies on take-over-request(TOR) situations in automated vehicles

Hester 등12)과 그 외 연구진들은 자율주행 모드가 해제되는 경우, 소리 경보를 운전자에게 전달하는 연구를 진행하였다. 소리 경보는 운전 작업 관련이 아닌 음성 경보와 운전 작업 관련 음성 경보를 제시하였다. 그리고 서로 다른 유형의 경계경보에 대한 운전자의 신뢰도와 반응에 대해 비교하였다. 그 결과 “전방 차량의 속도가 줄어들 것 같습니다.”와 같은 운전 작업 관련 음성 경보에서 더 많은 운전자들이 전방 차량과의 충돌을 회피할 수 있는 것으로 나타났다.

Naujoks 등13) 외 연구진들은 제어권 전환 알림을 다양한 신호로 운전자에게 전달하여 운전자의 신호에 대한 선호도를 평가하였다. 제어권 전환 알림은 톤과 음성 메시지 두 가지 유형으로 전달하였다. 결과적으로, 운전자는 제어권 전환 상황처럼 긴급한 상황 발생 시 단순한 톤보다 음성 메시지를 선호한다는 사실을 알아내었다.

Politis 등14) 외 연구진들은 제어권 이양 혹은 제어권 전환 시나리오에서 사용될 수 있는 6가지 멀티모달 신호를 평가하였다. 청각 자극은 여성의 음성을 사용하였다. 그 결과, 연구진들은 단일 시각적 경고가 가장 효과적이지 않다는 사실과 멀티모달 경고가 제어권 전환의 시간 및 정확성에 있어서 더욱 효과적이라는 것을 발견하였다.

Melcher 등15) 외 연구진들은 청각과 시각을 이용한 멀티모달 신호로 제어권 전환 요청을 전달하였고, 청각 신호로는 징소리를 사용하였다. 그 결과, 1명을 제외하고는 모두 멀티모달 신호를 제어권 전환 요청으로 인식하였다.

Gold 등16) 외 연구진들은 운전자에게 제어권 전환 시간으로 5 초와 7 초, 두 가지를 제공하였다. 제어권 전환 신호로 사인파의 청각 신호와 클러스터의 시각 아이콘을 운전자에게 전달하였다. 실험 결과로, 운전자가 7 초의 제어권 전환 시간보다 5 초의 제어권 전환 시간이 있을 때, 브레이크를 덜 사용한다는 것을 알아내었다.

Naujoks 등17) 외 연구진들은 다양한 제어권 전환 상황에서 제어권 전환에 더 효과가 있는 알림에 대해 연구하였다. 이때 사용된 청각 신호는 1000 Hz의 사인파 형식이며 1 초 동안 재생되었다. 그 결과, 연구진들은 운전자가 멀티모달 제어권 전환 요청 신호에서 더 빠르게 스티어링 휠에 손을 올려놓는다는 사실을 알아내었다.

Politis 등18) 외 연구진들은 자율주행 차량의 제어권 전환 과정을 처리하기 위해 4 개의 대화 기반 인터페이스 시스템을 개발하고 평가했다. 청각은 마이크로소프트사의 문자-음성 전환 시스템의 Anna의 음성을 사용하였다. 그 결과, 연구진들은 멀티모달이 운전자의 작업부하를 증가시키고 운전자의 대화 실수도 증가한다는 것을 발견하였다.

Lewis 등19) 외 연구진들은 전방 충돌 경고 시스템에 대한 음향 기준을 평가하는 연구를 진행하였다. 주요 청각 경보의 펄스 지속 시간은 200 ms이며, 1576 Hz이고 0.95 peak-to-total-time 비율이다. 하위 청각 경보의 펄스 지속 시간은 400 ms이며, 3000 Hz이고 0.9 peak-to-total-time 비율이었다. 주요 청각 경보는 충돌 전 속도 감속 측면에서 하위 청각 경보보다 효과적이었으며, 하위 청각 경보를 받은 참가자들보다 더 좋은 성과를 보였다.

4.3 촉각 알림방법 선행 연구 조사 결과

기존 자율주행의 제어권 전환 연구에서는 시각 및 청각 알림에 대한 연구가 많이 진행되었지만, 제어권을 전환하는 경우 운전자가 운전모니터링을 하지 않은 상태이기 때문에, 알림을 놓칠 확률이 크다. 따라서, 제어권 전환 신호로 촉각 알림에 대한 연구가 활발히 진행되고 있다. Table 4와 같이, 촉각관련 제어권 전환 선행 연구가 스티어링 휠이나 페달 진동이 아닌, 시트의 진동알림에 집중되어 있음을 알 수 있다. 자율주행차량의 자동화 레벨이 높아질수록 운전자의 스티어링 휠과 페달 사용 빈도수가 줄어들기 때문이다. 자율주행차량에서 운전자 신체와 차량 인터페이스와의 접촉 부위가 한정적이기 때문에, 주로 시트에 진동 알림을 주는 연구가 많은 실정이다. 또한, 단순 진동 알림으로는 운전자에게 상황에 알맞은 메시지를 제시할 수 없다. 따라서 시트 진동에 방향성을 띄는 진동을 주어 메시지를 전달하거나, 멀티모달 알림을 제시하는 경우가 있다.

Haptic modality related studies on take-over-request(TOR) situations in automated vehicles

Telpaz 등20) 외 연구진들은 시트의 진동으로 인해 제어권 전환에서 효과적인 제어 재개로 이루어지는지 여부에 대한 연구를 진행하였다. 연구 결과, 시트의 알림을 전달받은 실험자 집단이 더 빠른 제어권 전환 응답시간을 이끌어냈다.

Petermeijer 등9) 외 연구진들은 제어권 전환 알림으로 청각 및 촉각 신호 사용 시, 운전자의 반응시간과 만족도에 대하여 연구하였다. 그 결과, 제어권 전환 상황에서 운전자가 스티어링 휠을 잡는 반응 시간이 시트를 포함한 멀티모달 신호를 사용했을 때 더 줄어들었다.

Politis 등18) 외 연구진들은 시각 및 촉각 모달리티 알림을 통해 제어권 전환 성공률을 비교하는 연구를 진행하였다. 결과적으로 운전자는 단일 모달리티 기반 알림보다 멀티모달 알림을 받았을 때, 제어권 전환이 더 용이하다는 사실이 도출되었다.

Bazilinskyy 등21) 외 연구진들은 자율주행모드에서 시트 등받이, 시트 둔부, 안전벨트, 스티어링 휠 중 가장 선호되는 알림 위치를 주제로 설문조사를 진행하였다. 그 결과, 운전자들은 스티어링 휠에 진동을 주는 방식을 가장 선호했다.

Petermeijer 등22) 외 연구진들은 진동시트를 이용하여 운전자가 시트의 진동 자극에 얼마나 정확하게 반응하는지에 대한 연구를 진행하였다. 그 결과, 진동 패턴은 제어권 전환을 알리는데 효과적이었으나, 공간적 정보를 전달하는 것은 실패하였다.

Schwalk 등23) 외 연구진들은 시트에 여러 가지 진동 패턴을 주는 실험을 통해 운전자의 진동에 대한 선호도 조사를 진행하였다. 진동은 단순 알림을 주는 패턴, 공간형 정보를 주는 파동형 패턴이 있었다. 그 결과, 시트의 진동으로 제어권 전환을 알리는데 효과적이었지만, 진동 패턴으로 공간적 정보를 전달하는 것은 실패하였다.


5. 부분자율주행 양산차량 알림 모달리티 분석 결과

본 연구를 진행하기 위하여 자동차 제조업체들이 현재까지 양산한 부분자율주행차량의 사용자 매뉴얼 조사를 수행하였다. 조사 결과 유럽, 북미, 아시아에서 양산 중인 부분자율주행차량의 매뉴얼을 취득하였고, 유럽의 양산차량 3대, 북미의 양산차량 3대, 아시아의 양산차량 4대의 매뉴얼을 검토하여 시각, 청각, 촉각 알림 모달리티를 통해 운전자에게 신호가 전달되는 상황 과 각 모달리티 알림방법을 Table 5처럼 정리하였다.

Summary of OEM warning modality

제조업체에서 제시한 시각 모달리티 알림은 대부분 HUD나 클러스터에 깜빡이는 아이콘을 사용하였다. 그리고 긴급한 경우일수록 빨간색을 사용하여 상황의 긴급성을 운전자에게 전달하였다. 볼보의 XC90은 차간 거리를 유지함에 있어 충분하지 않을 경우 HUD에 깜빡이는 빨간색 경고알림을 띄운다.

제조업체에서 제시된 청각 알림은 사람의 음성이 아닌 일반적인 톤으로 제시가 되었다. 청각 알림이 운전자에게 제공되는 상황은 지정된 속도를 벗어나는 경우, 운전자가 스티어링 휠에 손을 뗀 경우처럼 운전자가 운전 상황을 모니터링 하지 않을 때 운전자의 주의를 환기시켜 다시 운전을 재개하도록 해야 하는 경우였다. 긴급한 상황일수록 반복적이고 높은 음으로 알림을 전달하였다. 아우디의 A8은 도로 교통 상황에서 주행차량의 속도가 지정된 기준 이상일 경우 시간이 지날수록 주파수가 상승하는 톤의 청각 알림을 전달한다.

제조업체의 촉각 알림은 대부분 스티어링 휠에 진동을 주는 것이다. 또한 촉각 알림을 주는 상황도 차선에서 벗어나는 경우가 대부분이었다. 하지만 자율주행모드에서의 제어권 전환 상황에서는 운전자가 스티어링 휠에서 손을 떼고 있기 때문에, 스티어링 휠의 진동은 효용가치가 없다고 할 수 있다. 따라서 본 연구에서는 제어권 전환 상황을 고려하여 캐딜락의 촉각 알림방법인 시트를 이용해 운전자에게 알림을 전달하는 것이 효과적이라고 판단하였다. 캐딜락의 CT6는 차량의 전방 및 후방에서 충돌이 일어날 가능성이 있거나 충돌이 일어난 경우 시트에 5회 진동 알림을 운전자에게 전달한다.

5.1 양산부분자율주행차량의 시각 알림 모달리티 분석

본 연구에서는 시각 모달리티로 알림을 전달하는 8 개의 업체를 선정하여 알림방법을 정리하였다. 그 중 유럽의 제조업체는 볼보, 아우디 2 개 업체이고, 북미의 제조업체는 캐딜락, 링컨, 테슬라로 3 개 업체이다. 또, 아시아의 제조업체는 닛산, 렉서스, 현대 3 개의 업체를 조사하였다. 양산 차에서의 시각 알림은 계기판에 아이콘을 통한경고와 HUD를 통한 경고로 나뉠 수 있으며, 차간 거리 유지와 차선 이탈에 대한 경고를 시각 알림으로 운전자에게 전달하였다.

유럽 제조업체 중 대표적인 회사인 볼보의 XC 90의 매뉴얼24)을 조사하여 시각 알림방법을 분석하였다. 차간 거리를 유지함에 있어서 충분하지 않을 경우, 차간 거리를 나타내는 아이콘을 계기판에 띄우고 HUD에 빨간 상자를 깜박이는 방법으로 운전자에게 신호를 전달하였다.

또 다른 대표적인 유럽의 제조업체 중 하나인 아우디의 A8 매뉴얼25)에서는 차간 거리를 유지함에 있어서 충분하지 않거나 차선을 벗어나는 경우, 빨간색 아이콘이 계기판에 표시되고, 감지된 물체가 가까워질수록 더 짙어진 빨간색으로 표시한다고 나와 있다.

북미의 제조업체인 캐딜락에서는 CT6의 매뉴얼26)을 조사하였다. CT6는 차간 거리를 유지함에 있어서 충분하지 않을 경우 8개의 빨간 LED가 HUD에서 깜박이는 것으로 운전자에게 신호를 전달한다. 또한 차량의 전방 및 후방에서 충돌이 일어날 가능성이 잇거나 충돌이 일어난 경우 차량의 윈드실드 글라스(Windshield glass)에 빨간색 디스플레이가 깜빡거린다.

링컨의 컨티넨탈27)은 차선을 벗어나는 경우 계기판에 차량과 차선의 아이콘을 나타낸다.

테슬라의 Model S28)는 도로 환경에서 차선이 사라지는 급박한 상황일 경우 클러스터 및 계기판에 ‘Take Over Immediately’라는 문구가 빨간색 배경에 흰 글자로 표시된다.

아시아 제조업체 차량은 닛산 리프의 매뉴얼29)을 분석하였다. 리프는 차간 거리를 유지함에 있어서 충분하지 않을 경우 계기판에 차량 간의 거리를 나타내는 아이콘이 디스플레이 된다. 또한 주행 중 차량이 우측차선이나 좌측차선에 접근할 경우 계기판에 차량과 차선을 나타내는 아이콘이 디스플레이 된다.

렉서스의 LS35030)은 차량이 차선으로부터 이탈할 수 있다고 판단되면 계기판에 차선이 흰색으로 디스플레이 되며 운전자에게 알림을 제공한다.

현대의 Genesis EQ90031)은 차선을 벗어나는 경우 계기판에 차선과 차량의 아이콘이 표시된다. 이때, 차량이 벗어나는 방향의 차선 아이콘이 빨간색으로 디스플레이 된다.

5.2 양산부분자율주행차량의 청각 알림 모달리티 분석

본 연구에서는 청각 모달리티로 알림을 전달하는 5개의 업체를 선정하여 알림방법을 정리하였다. 그중 유럽의 제조업체는 아우디, 1개이고, 북미의 제조업체는 캐딜락, 테슬라, 2개 업체이다. 또, 아시아의 제조업체는 현대를 조사하였다.

아우디 A8의 Traffic jam pilot 기능은 정체 상황에서 시속 37 마일 이하로 주행 중일 경우에 SAE 기준 레벨 2의 자율주행이 가능하지만, 주행 조건이 충족되지 않을 경우 차량은 1799 Hz에서 1 초 길이의 톤의 청각 신호를 운전자에게 제어권 전환 신호로 전달하며 두 번째 경고로 2000 Hz에서 1.2 초 길이의 신호를 전달하며, 세 번째 경고는 2000 Hz에서 0.005 초의 간격을 두고 0.5 초 길이의 톤을 4 번 재생하는데, 이 시스템은 톤의 수뿐만 아니라 음의 높낮이를 증가시키며 긴급함을 나타낸다.

유럽의 제조업체인 세아트의 레온은 운전자가 스티어링 휠에서 오랫동안 손을 뗀 경우, 595 Hz, 999 Hz, 6000 ~ 2500 Hz로 하강하는 톤이 각각 0.525 초, 0.525 초, 1.015 초의 길이로 발생하였다.

북미의 제조업체인 캐딜락의 CT6는 차량의 전방 및 후방에서 충돌이 일어날 가능성이 있거나 충돌이 일어난 경우 Beep 경고음을 운전자에게 전달한다.

또 다른 북미 제조업체인 테슬라도 Model S에서 운전자가 스티어링 휠에 오랫동안 손을 뗀 경우 0.2 초 길이의 553 Hz의 경고음이 0.06 초의 간격으로 발생하며 동시에 대시보드도 깜빡거린다. 일정 시간동안 스티어링 휠에 손이 닿지 않는다면 볼륨이 증가하여 운전자가 스티어링 휠에 손을 올려놓게 한다.

아시아의 제조업체인 현대에서는 아이오닉 EV에 청각 모달리티 알림방법을 적용하였다. 운전자가 운전대에 손을 오랫동안 뗀 경우, 0.09 초 길이의 1498 Hz의 경고음이 0.03 초의 간격으로 최대 42 회 발생한다.

5.3 양산부분자율주행차량의 촉각 알림 모달리티 분석

본 연구에서는 촉각 모달리티로 알림을 전달하는 7개의 업체를 선정하여 알림방법을 정리하였다. 그중 유럽의 제조업체는 볼보, 아우디, 2개이고, 북미의 제조업체는 캐딜락, 링컨, 2개 업체이다. 또, 아시아의 제조업체는 닛산, 렉서스, 현대, 3개 업체를 조사하였다.

유럽의 제조업체인 볼보의 XC90의 매뉴얼24)을 참고하면 XC90은 차선유지보조시스템에 촉각 모달리티 알림을 적용하였다. 차선을 벗어날 경우 스티어링 휠에 진동을 전달하는데, 차선을 벗어난 시간이 길어질수록 스티어링 휠에 전달되는 진동이 길어진다.

같은 유럽 제조업체인 아우디는 A825)의 Active lane assist에 촉각 알림방법을 적용하였다. 차량의 전방 및 후방에서 충돌이 일어날 가능성이 있거나 충돌이 일어난 경우 시트를 5 회 진동하여 운전자에게 상황을 전달한다.

북미 제조업체인 링컨의 컨티넨탈27)차량은 차선을 벗어나는 경우 스티어링 휠을 진동하여 운전자에게 신호를 전달한다.

아시아 제조업체인 닛산 리프의 매뉴얼29)을 참고하면 리프의 Lane Departure warning에 촉각 알림을 적용하였는데, 주행 중 차량이 우측 차선이나 좌측 차선에 접근하면 스티어링 휠을 진동시켜 운전자에게 알림을 전달한다.

렉서스의 LS35030)은 차량이 차선으로부터 이탈할 수 있다고 판단되면 촉각 모달리티 알림을 운전자에게 전달하는데, 이때 스티어링 휠이 진동한다.

현대 Genesis EQ90031)은 후측방 경고 시스템에서 후측방에 물체가 감지되거나 후진 중 후측방에서 차량이 접근하면 스티어링 휠을 진동시켜 운전자에게 알림을 전달한다.


6. 단일 모달리티 알림방법 초안 제시

본 연구에서는 단일 모달리티 기반 알림방법을 시각, 청각, 촉각으로 나누어 각각 3 안을 제안하였다. 우선순위로는 양산 중인 부분자율주행차량의 알림 모달리티 분석을 우선으로 차용하였다. 그리고 현재 상용차의 알림 모달리티 가이드라인을 분석한 결과를 적용하고, 마지막으로 선행연구의 알림방법을 적용하여 시, 청, 촉각 단일 모달리티 별로 각각 세 가지 안을 제시하였다.

시각 단일 모달리티 대표 안은 부분자율주행차량의 신호를 우선순위로 차용하였기 때문에 Table 6과 같이 테슬라의 신호를 인용하였다. 알림 위치와 주파수는 일반 차량의 시각 알림 모달리티 가이드라인에서 제시한 위치와 주파수로 지정하였다.

Design of TOR visual alarm

청각 단일 모달리티 대표 안은 Table 7과 같이 양산된 부분자율주행차량인 테슬라와 아이오닉의 신호를 우선적으로 차용하였다. 3안의 신호는 일반차량의 청각 알림 가이드라인의 기준을 수용하여 만든 신호이다. 촉각 알림방법의 안은 Table 8과 같다. 자동화 레벨 3이상의 자율주행차량에서는 운전자는 전방을 주시하는 의무가 없고 긴급 상황에서만 운전자가 차량으로부터 운전 제어권을 받는다. 따라서 평상시 자율주행차량이 운전을 수행할 경우 운전자는 스티어링과 페달에 신체를 접촉하지 않을 가능성이 매우 높다. 따라서 Table 8처럼 촉각 알림 모달리티는 시트에 진동을 주는 3가지 안을 제시하였다.

Design of TOR auditory alarm

Design of TOR haptic alarm


7. 청각 단일 모달리티 알림방법 비교 실험

제시된 단일 모달리티 알림방법 초안을 검증하기 위해서 청각 단일 모달리티 알림방법에 대해 실험을 진행하였다. 청각 단일 모달리티 알림방법 실험은 Michigan Tech. Univ 에서 진행하였다.

7.1 청각 모달리티 알림방법 비교 실험 목적

위에서 제시된 연구 결과로 도출된 청각 알림인 이어콘(earcon:짧은 음악적 신호), 상대적으로 새로운 청각 알림 신호인 스피어콘(spearcon: 압축된 스피치) 및 스피치(speech)가 시각적 알림 신호(텍스트)에 더해졌을 때 제어권 전환에 미치는 효과를 비교 평가하기 위하여 실험을 진행하였다.

7.2 청각 모달리티 알림방법 비교 실험 시나리오 및 방법

실험 환경은 네 개의 디스플레이, 두 개의 스피커, 엑셀 및 브레이크 페달, 스티어링 휠, 운전석 의자로 이루어진 NADS MiniSim (Fig. 1) 드리이빙 시뮬레이터를 이용하여 진행하였다. 본 실험에서는 피험자가 운전을 시작한 뒤 수 초 후, “딩” 소리와 함께 자율주행모드를 시작하게 되며, 이 때 피험자는 스티어링 휠에서 손을 떼고 엑셀 페달에서 발을 들도록 하였다. 자율주행모드에서 피험자는 센터콘솔 위치에 놓인 노트북을 이용하여 “2048”이라는 온라인 게임을 하였다. 게임을 하는 동안 네 가지 중 하나의 제어권 전환 알림 신호가 발생하였다. 제어권 전환 이벤트는 도로 위의 사슴, 주차된 차량, 길을 막고 있는 서비스 차량등의 위험 상황에서 발생하였다. 한 가지 알림 신호 유형에 세 번의 자율주행모드 전환 이벤트가 있었다. 제어권 전환 신호를 받은 운전자는 스티어링 휠을 다시 잡는 행동으로 자율주행모드에서 수동주행모드로 변경토록 하였다.

Fig. 1

Experimental set up

7.2.1 독립 변수

본 실험의 독립 변수는 제어권 전환 알림 신호 유형이다. 신호는 시각 알림 신호(“Please Take over”)만 제시된 경우, 시각 알림 신호와 함께 제시된 세 가지 유형의 청각 알림 신호로 총 네 가지로 구성되었다. 이어콘은 위에 제시된 가이드라인에 맞게 880 Hz 와 1760 Hz의 소리를 네 번 반복하는 것으로 구성되어 있다. 스피치는 “Take over”라는 남성 목소리로 구성되어 있다. 스피어콘은 같은 음성 파일을 SOLA 알고리즘을 사용한 스피어콘 생성 프로그램에 적용하여 만들었다. 텍스트로 이루어진 시각 알림 신호는 모든 경우에 동일하게 화면 정 가운데에 하얀색으로 제시되었다.

7.2.2 종속 변수

본 실험의 종속 변수는 피험자의 반응시간이다. 반응시간이라 함은 제어권 전환 알림 제공 시점부터 피험자가 스티어링 휠을 제어하여 자율주행모드에서 수동주행보드로 전환하기까지의 시간이다.

7.2.3 실험참가자

실험은 남성 13 명, 여성 9 명으로 총 22 명을 대상으로 연구를 진행하였다. 평균 나이는 20.3 세이며, 평균 운전 경력은 4.1년이다. 본 실험은 미시간 공과대학(Michigan Technological University) 인스티튜셔널 리서치 보드 (Institutional Research Board)의 승인을 얻었으며 모든 규정을 준수하였다.

7.3 청각 모달리티 알림방법 비교 실험결과

실험 결과는 제어권 전환 알림 유형 4 가지에 따른 자율주행 전환 횟수 3 가지를 반복측정 분산분석을 이용하여 분석하였다. 제어권 전환 반응시간은 알림 유형에 따라 유의미한 결과를 보였다(Fig. 2). F(2.00, 36.05) = 173.83, p < .001, ηp2 = .91. 하지만, 자율주행 전환 횟수는 유의미한 결과를 보이지 않았다. 제어권 전환 알림 유형과 자율주행 전환 횟수 간에 유의미한 상호작용이 있었다. F(2.50, 44.99) = 3.61, p<.05, ηp2 = .17. 이는 Fig. 3에서 볼 수 있듯이 스피어콘과 텍스트를 제시한 경우와 텍스트만 제시한 조건에서 자율주행전환 반복 횟수에 따라 반응 시간이 줄어들었기 때문인 것으로 분석할 수 있다. 사후 분석을 통해, 세 가지 청각 알림 유형 중 어떠한 신호가 더해졌을 경우에도 시각 알림 신호만 있는 경우보다 유의미하게 빠른 반응 시간을 보인다는 것을 발견하였다(p < .001). 또한, 스피어콘과 텍스트를 제시한 경우, 이어콘과 텍스트를 제시한 경우보다 유의미하게 느리다는 결과가 도출되었다(p = .002). 정리하자면, 본 실험의 결과, 청각 알림 신호가 시각 알림 신호에 더해졌을 경우, 반응 시간이 짧아질 것이라는 첫 번째 가설은 충족되었다. 스피어콘은 스피치를 시간 축을 기준으로 압축한 것이기 때문에 스피치보다 긴급성을 높여줄 것으로 가설을 세웠으나, 본 실험 결과 그 가설은 기각되었다. 이어콘이 가장 빠른 제어권 전환 반응을 보였으며, 스피치 역시 그와 유사한 정도의 수행을 보였다. 하지만, 스피어콘은 이어콘보다 유의미하게 긴 반응시간을 보임으로써 제어권 전환 디스플레이에 적합하지 않은 것으로 나타났다. 추후 연구에서 스피치나 이어콘의 소리 속성의 변화에 따른 수행도의 차이를 더 자세하게 측정할 수 있을 것이다.

Fig. 2

Take over reaction-time bar chart

Take over reation-time analysis result

Fig. 3

Take over reaction-time across laps


8. 촉각 모달리티 알림방법 비교 실험

제시된 단일 모달리티 알림방법 초안을 검증하기 위해서 촉각 단일 모달리티 알림방법에 대해 실험을 진행하였다. 촉각 단일 모달리티 알림방법 실험은 국민대학교에서 진행하였다.

8.1 촉각 모달리티 비교 실험 목적

위에서 제시된 연구 결과로 도출된 촉각 알림 신호들을 제어권 전환 알림으로 사용하여, 운전자의 제어권 전환 시, 진동 시트의 알림 방법 별 효과를 검증해 보기 위하여 실험을 진행하였다.

8.2 촉각 모달리티 비교 실험 시나리오 및 실험 방법

실험 환경은 진동 시트가 장착된 2016년식 현대 LF 쏘나타, SCANeR studio 소프트웨어가 탑재된 운영 시스템, 그리고 영상 시스템으로 구성된 시뮬레이터 환경에서 실험을 진행하였다. 본 실험에서 제어권 전환 이벤트가 발생하면 피험자는 차량을 제어하여 자율주행모드에서 수동주행모드로 변경한다. 제어권 전환 이벤트는 자율주행시스템의 알 수 없는 고장으로 인한 제어권 전환 상황이다. Fig. 4처럼 이벤트 발생 5초 전 시트의 진동을 통해 제어권 전환 신호를 운전자에게 전달한다. 제어권 전환 신호를 받은 운전자는 스티어링 휠, 엑셀, 브레이크 중 하나를 제어하여 자율주행모드에서 수동주행모드로 변경하여 실험 시나리오를 종료한다.

Fig. 4

Take over scenario

8.2.1 독립 변수

본 실험의 독립 변수는 Table 10과 같이 시트의 진동 위치(3가지, 등/둔부/전체)와 진동 주기 유무이다. 모든 신호는 크기가 200~250 Hz이며, 동적 주기 진동은 on/off가 200 ms/50 ms로 피험자가 제어권 전환을 받을 때까지 진동이 울린다. 진동 주기가 없는 신호는 시트 전체 진동 신호와 동일하다.

Take over request haptic alarm

8.2.2 종속 변수

본 실험의 종속 변수는 피험자의 반응시간이다. 반응시간이라 함은 제어권 전환 알림 제공 시점부터 피험자가 스티어링, 엑셀, 브레이크 중 하나를 제어하여 자율주행모드에서 수동주행모드로 전환하기까지의 시간이다.

8.2.3 실험참가자

실험은 남성 18 명, 여성 11 명으로 총 29 명을 대상으로 연구를 진행하였다. 평균 나이는 26.6 세이며, 평균 운전 경력은 1.74개월이다. 본 실험은 국민대학교 생명윤리위원회(KMU-201803-HR-174)의 승인을 얻었으며 모든 규정을 준수하였다.

8.3 촉각 모달리티 알림방법 비교 실험 결과

실험참가자가 30 명 이하이기 때문에 정규성 검사를 실시하였고, 정규성을 만족하지 않았다. 따라서 독립변수 수준이 3개인 진동 위치에 따른 반응시간 데이터는 Kruskal-wallis test를 진행하였다. 독립변수 수준이 2개인 주기 여부에 따른 반응시간 데이터는 Mann-whitney test를 진행하였다. 본 실험의 첫 번째 가설은 시트의 진동 위치에 따라 피험자의 반응시간이 차이가 없는 것이다. 피험자의 반응시간은 Table 11에 보이는 것과 같이 등은 평균 1.93 초, 둔부는 2.36초, 전체는 2.11초로 등의 진동 알림을 전달하는 것이 가장 효과적이었다. Kruskal-wallis 추론통계 분석 결과를 보면, 시트의 등, 둔부, 전체에 알림을 전달했을 경우 피험자의 반응시간의 차이는 유의미 하지 않다고 할 수 있다. 두 번째 가설은 진동 주기 유무에 따라 피험자의 반응시간이 차이가 없다는 것이다. 피험자의 반응시간은 Table 11에 보이는 것과 같이 정적 주기는 2.11 초, 동적 주기는 2.05 초로 동적 주기가 정적 주기보다 피험자의 빠른 반응 시간을 이끌어냈다. 하지만, Mann-whitney test 추론통계 분석 결과를 보면 정적 주기 진동과 동적 주기 진동별 반응 시간 차이가 유의미하지 않다는 결과가 도출되었다. 하지만, 평균 반응시간을 기준으로, 제어권 전환에서 가장 효과적인 시트의 촉각 알림 방법은 등 부분에 진동을 전달하는 것이 가장 효과적인 방법이다.

Fig. 5

Take over reaction-time box plot

Take over reaction-time analysis result


9. 연구 고찰 및 결론

본 연구 결과에서 도출된 단일 모달리티 알림방법안을 검증하기 위해 시각 알림을 제외한 제어권 전환 실험을 진행하였다. 청각 기반 제어권 전환 알림은 청각 알림 유형에 따른 제어권 전환 실험을 진행하였으며, 이어콘이 다른 청각 알림 유형보다 제어권 전환 시간 면에서 유의미하게 빨랐다. 촉각 기반 제어권 전환 알림은 촉각 알림을 전달하는 시트의 부위와 촉각 알림의 진동 주기 유무에 따른 제어권 전환 실험을 진행하였다. 촉각 알림 실험은 제어권 전환 시간 면에서 유의미한 차이가 없었지만, 평균적으로 등 부분에 정적인 알림을 주는 것이 제어권 전환 시간이 가장 빨랐다. 향후 멀티 모달 알림방법 연구에서 제어권 전환 알림을 설계할 때 단일 모달리티 알림방법 안과 본 실험의 결과를 참고하고 연구를 추가적으로 진행하여 멀티모달 알림 조합안을 도출하고자 한다. 이를 기반으로 제어권 전환 상황에서의 멀티모달 알림을 비교분석하여 자율주행차량의 제어권 전환 안전성을 확보할 수 있는 알림방법이 도출될 것으로 기대된다.

Acknowledgments

본 연구는 국토교통부 교통물류연구사업(과제번호 18TLRP-B131486-02)과 과학기술정보통신부의 재원으로 한국연구재단의 기초연구사업(No.2017R1A2B4008615)의 지원을 받아 수행되었습니다.

References

  • J. H. Bak, K. H. Lee, and C. H. Lee, “Synchronous Interfusion of the Compensatory Filters Based on Multi-rate Sensors for the Control of the Autonomous Vehicle”, Transactions of KSAE, 22(3), p220-227, (2014). [https://doi.org/10.7467/ksae.2014.22.3.220]
  • H. S. Chae, Y. H. Jeong, K. S. Yi, I. S. Choi, and K. C. Min, “Safety Performace Evaluation Scenarios for Extraordinary Service Permission of Autonomous Vehicle”, Transactions of KSAE, 24(5), p495-503, (2016). [https://doi.org/10.7467/ksae.2016.24.5.495]
  • SAE J3016 Surface Vehicle Recommended Practice - Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Moter Vehicles, SAE, (2016).
  • NHTSA, http://www.nhtsa.gov (2018).
  • M. Walch, K. Lange, M. Baumann, and M. Weber, “Autonomous Drivning : Investigating the Feasibility of Car-Driver Handover Assistance”, Proceedings of the 7th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, p11-18, (2015).
  • C. L. Baldwin, J. L. Eisert, A. Garcia, B. Lewis, S. M Pratt, and C. Gonzalez, “Multimodal Urgency Coding: Auditory, Visual, and Tactile Parameters and their Impact on Perceived Urgency”, Work, 41, p3586-3591, (2012).
  • A. Eriksson, S. M. Petermeijer, M. Zimmermann, J. C. F. Bengler, K. J. de Winter, and N. A. Stanton, “Rolling out the Red(and green) Carpet: Supporting Driver Decision Making in Automation-to-manual Transitions”, Human Factors of Automated Driving, 41(1), p20-31, (2018).
  • S. S. Borojeni, L. Chuang, W. Heuten, and S. Boll, “Assisting Drivers with Ambient Take-Over Requests in Highly Automated Driving”, Proceedings of the 8th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, p237-244, (2016). [https://doi.org/10.1145/3003715.3005409]
  • S. Petermeijer, P. Bazilinskyy, K. Bengler, and J. de Winter, “Take-over again: Investigating Multimodal and Directional TORs to Get the Driver Back into the Loop”, Applied Ergonomics, 62, p204-215, (2017). [https://doi.org/10.1016/j.apergo.2017.02.023]
  • B. A. Lewis, B. N. Penaranda, D. M. Roberts, and C. L. Baldwin, “Effectivenss of Bimodal versus Unimodal Alerts for Distracted Drivers”, Proceedings of 2013 Driving Assessment Conference, p376-382, (2013). [https://doi.org/10.17077/drivingassessment.1515]
  • J. Koo, J. Kwac, W. Ju, M. Steinert, L. Leifer, and C. Nass, “Why did my car just do that? Explaning Semi-Autonomous Driving Actions to Improve Driver Understanding, Trust, and Performance”, International Journal on Interactive Desing and Manufacturing, 9(4), p269-275, (2015). [https://doi.org/10.1007/s12008-014-0227-2]
  • M. Hester, K. Lee, and B. P. Dyre, ““Driver Take Over” : A Preliminary Exploration of Driver Trust and Performance in Autonomous Vehicles”, Proceedings of the Human Factors and Ergonomics Society 2017 Annual Meeting, p1969-1973, (2017). [https://doi.org/10.1177/1541931213601971]
  • F. Naujoks, Y. Forster, K. Wiedemann, and A. Neukum, “Speech improves human-automation cooperation in Automated Driving”, Mensch und Computer, p4-7, (2016).
  • I. Politis, S. Brewster, and F. Pollick, “Language-based Multimodal Displays for the Handover of Control in Autonomous Cars”, Proceedings of the 7th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, p3-10, (2015). [https://doi.org/10.1145/2799250.2799262]
  • V. Melcher, S. Rauh, F. Diederichs, H. Widlroither, and W. Bauer, “Take-Over Requests for Automated Driving”, Procedia Manufacturing, 3, p2867-2873, (2015). [https://doi.org/10.1016/j.promfg.2015.07.788]
  • C. Gold, D. Dambock, L. Lorenz, and K. Bengler, ““Take over!” How long does it Take to Get the Driver Back into the loop?”, Proceedings of the Human Factors and Ergonomics Society 57th Annual Meeting, p1938-1942, (2013). [https://doi.org/10.1177/1541931213571433]
  • F. Naujoks, C. Mai, and A. Neukum, “The Effect of Urgency of Take-Over Requests During Highly Automated Driving Under Distraction Conditions”, Proceedings of the 5th International Conference on Applied Human Factors and Ergonomics AHFE, (2014).
  • I. Politis, S. Brewster, and F. Pollick, “Using Multimodal Displays to Signify Critical Handovers of Control to Distracted Autonomous Car Drivers”, International Journal of Mobile Human Computer Interaction, 9, p1-6, (2017). [https://doi.org/10.4018/ijmhci.2017070101]
  • B. A. Lewis, J. L. Eisert, and C. L. Baldwin, “Validation of Essential Acoustic Parameters for Highly Urgent In-Vehicle Collision Warnings”, Human Factors, 60, p248-261, (2018). [https://doi.org/10.1177/0018720817742114]
  • A. Telpaz, B. Rhindress, I. Zelman, and O. Tsimhoni, “Haptic Seat for Automated Driving: Preparing the Driver to Take Control Effectively”, Proceedings of the 7th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, p23-30, (2015).
  • P. Bazilinskyy, S. M. Petermeijer, V. Petrovych, D. Dodou, and J. C. F. de Winter, “Take-Over Requests in Highly Automated Driving: A Crowdsourcing Survey on Auditory, Vibroticatile, and Visual Display”, Transportation Research Part F: Traffic Psychology and Behavior, 56, p82-98, (2018).
  • S. M. Petemeijer, S. Cieler, and J. C. F. de Winter, “Comparing Spatially Static and Dynamic Vibrotactile Take-over Requests in the Driver Seat”, Accident Analysis & Prevention, 99, p218-227, (2017).
  • M. Schwalk, N. Kalogerakis, and T. Maier, “Driver Support by a Vibrotactile Seat Matrix-Recognitions, Adequacy and Workload of Tactile Patterns in Take-over Scenarios During Automated Driving”, Procedia Manufacturing, 3, p2466-2473, (2015).
  • Volvo, XC90 Manual 2018, https://www.volvocars.com (2018).
  • Audi, Owner’s Manual 2018, https://ownersmanuals2.com (2018).
  • Cadilac, 2018 CT6, https://www.gme-infotech.com (2018).
  • Lincoln, 2018 CONTINENTAL Owner’s Manual, https://owner.lincoln.com (2018).
  • Tesla, MODEL S OWENER’S MANUAL, https://www.tesla.com (2018).
  • Nissan, 2018 LEAF OWNER’S MANUAL, http://carmanuals2.com (2018).
  • Lexus, 2018 LS350, LS300 Owner’s Manual, http://carmanuals2.com (2018).
  • Hyundai, Genesis EQ 900, Start-up and Running for Instruction Manual, https://www.genesis.com/kr/lo/download-center.html (2018).
  • Ajou University Industry-Academic Cooperate Foundation, A Study on the Revision of Road Traffic Law for Autonomous Driving, (2016).

Fig. 1

Fig. 1
Experimental set up

Fig. 2

Fig. 2
Take over reaction-time bar chart

Fig. 3

Fig. 3
Take over reaction-time across laps

Fig. 4

Fig. 4
Take over scenario

Fig. 5

Fig. 5
Take over reaction-time box plot

Table 1

Summary of single-modal alarm design from NHTSA report4)

Modality type Design factors Example of design
Visual 1. Location
2. Color
3. Icon / Text
- Provides a simple icon that does not require analysis on the cluster when the distance from the car is near
- In emergency situation, adding a blink effect to the red signal is effective
Auditory 1. Level of urgency
2. Volume
3. Frequency
4. Directionality
5. Voice-based alerts
- High frequency, fast signal, random harmonics, and wide range signal are used to increase urgency
- The volume should be 15 to 30 dB higher than the ambient noise, not exceed 90 dBa
- Use within the range of 500 ~ 2500 Hz
- The auditory signal required to transmitted in the horizontal plane direction
- Use a short phrase or one word with rate of 150-200 words per minute if using a voice-based alert with other modal signal
Haptic 1. Location
2. Recognition
3. Directionality
- Driver’s body must be contacted such as steering wheel, seat, accelerator pedal, seat belt
- Human sensitivity is highest at 200~250 Hz
- The gap between vibration motors should be at least 4 cm

Table 2

Visual modality related studies on take-over-request(TOR) situation in automated vehicles

Author Contents Result
Walch5) et al. In 3 TOR situations, give a visual warning with a word “caution” with gray background It is most effective to give a TOR on a steep curve
Baldwin6) et al. Evaluate the urgency of drivers by giving different TOR time with a word “warning” that has yellow background It is more urgent for drivers to give a visual signal for 3 seconds than 2 seconds
Eriksson7) et al. Measure drivers’ response time when giving different types of visual TOR with icons (arrow, line, circle) An arrow signal is most effective for a TOR
Borojeni8) et al. Evaluate efficiency of a TOR when giving different types of visual TOR with an LED lamp’s pattern A direction pattern is more effective than a fixed pattern
Melcher15) et al. Measure drivers’ response time when giving different types of visual TOR (icon/text) Drivers’ response time is between 1.4 to 6.7 seconds
Petermeijer9) et al. Research-drivers’ urgency when giving different types of TOR (visual / auditory signal) with an LED lamp LED blinking is more efficient than an auditory signal
Lewis10) et al. Measure drivers’ response time when giving different types of TOR (single / multi alarm) with a word “caution” Drivers’ response is faster for multimodal than a single modal signal
Koo11) et al. Research for efficiency of TOR when giving different types of TOR message with information In an emergency situation, it is effective to provide only a message about external environment

Table 3

Auditory modality related studies on take-over-request(TOR) situations in automated vehicles

Author Content Result
Hester12) et al. Comparison of drivers’ responses to different types of Take over alarms A task related voice alerts allowed more drivers to avoid collisions
Naujoks13) et al. Comparison of drivers’ responses to different types of Take over alarms The Participants more prefer voice messages than simple tones
Politis14) et al. Evaluation of six multi-modality signals that can be used for a TOR Multi-modality alerts were more effective in the time and accuracy of control transitions than a single modality alerts
Melcher15) et al. Measure drivers’ response time when giving different types of Take over alarms All drivers received a TOR within 10 seconds
Gold16) et al. Evaluation of signals that can be used for a TOR using auditory and visual modalities during drivers’ visual distraction Most drivers used less brakes in 5 seconds than 7 seconds
Nauzkos17) et al. Comparison of a TOR time with multi-modality alerts that consist of visual and auditory signals and single modality alerts that consist only visual signals Multi-modality alerts reduced time to place hands on steering wheel compared to a single modality
Politis18) et al. Observe distracted drivers’ responses after a TOR Multi-modality alerts increased drivers’ workload and dialogue mistakes
Lewis19) et al. Validate the importance of a key acoustic criteria for use as in vehicle forward collision warning (FCW) systems. Drivers received a FCW comprising five essential acoustic components had improved collision avoidance responses relative to no-warning condition

Table 4

Haptic modality related studies on take-over-request(TOR) situations in automated vehicles

Author Contents Result
Talpaz20) et al. Measure drivers’ response time when giving haptic TOR by seat vibration or not The group that received a seat vibration is faster than the other group
Petermeijer9) et al. Measure drivers’ response time when giving different types of TOR (single / multi alarm) with seat vibration The Multi alarm is more effective than a single alarm
Politis18) et al. Measure success rate of TOR when giving different types of TOR (single / multi alarm) with seat vibration The Multi alarm is more effective than a single alarm
Bazilinskyy21) et al. Research for drivers’ preference of vibration when giving different types of haptic TOR (seat / belt/ steering wheel) A steering wheel vibration is the drivers’ preferred method If urgency situation, drivers prefer the multi alarm
Petermeijer22) et al. Evaluate drivers’ recognition when giving different types of haptic TOR (normal / direction vibration) with seat vibration A vibration that gives the space information was fail
Schwalk23) et al. Research for drivers’ preference of vibration when giving different types of haptic TOR (normal / direction / wave form vibration) A wave form vibration is best effective in signaling TOR

Table 5

Summary of OEM warning modality

Modality Alert Type Situation OEM
Visual Cluster Not enough to maintain the distance between cars - Volvo (XC90, adaptive cruise control)
- Audi (A8, adaptive cruise control)
- Nissan (LEAF, propilot assist)
Lane departure - Lincoln (Continental)
- Nissan (LEAF, lane departure warning)
- Lexus (LS350, lane departure alert with steering wheel)
- Hyundai (EQ900)
HUD Not enough to maintain the distance between cars - Cadillac (CT6, super cruise)
Lane departure - Cadillac (CT6, super cruise)
Auditory Beep Front and rear collision warning - Cadillac (CT6, super cruise)
Using time period
and frequency
Driver released from a steering wheel - Seat (Leon)
- Tesla (Tesla firmware 8.0, Autosteer)
- Hyundai (IONIQ EV)
Road speed exceeded - Audi (A8)
Haptic Steering wheel
vibration
Lane departure - Volvo (XC90, lane keeping assist system)
- Audi (A8, active lane assist)
- Lincoln (Continental)
- Nissan (Leaf, lane departure warning)
- Lexus (LS350, lane departure alert with steering control)
Rear side warning system - Hyundai (EQ900, Rear side warning system)
Seat vibration Front and rear collision warning - Cadillac (CT6, super cruise)

Table 6

Design of TOR visual alarm

No. Representative signal Location Frequency (Hz) Size (mm)
1 HUD/
Cluster
3 ~ 4 19 × 86
2 Room mirror 3 ~ 4 19 × 86
3 HUD/
Cluster
3 ~ 4 19

Table 7

Design of TOR auditory alarm

No. Representative signal Frequency (Hz) Repetitions Length/Interval (ms) Volume (dB, dBA)
1 Tesla firmware 8.0 553 2 200 /60 The volume should be 15 to 30 dB
higher than the ambient noise, not
exceed 90dBa
2 Ioniq of Hyundai 1498 8 90 /30
3 Two Frequency mixed tone 880 + 1760 4 50 /30

Table 8

Design of TOR haptic alarm

No. Representative signal Frequency (Hz) Length/ Interval (ms) Location Signal graph
1 Pulse-type vibration
using haptic-seat
200 ~ 250 200 / 50
2 Pulse-type vibration
using haptic-seat
200 ~ 250 200 / 50
3 Wave-type vibration
using haptic-seat
200 ~ 250 2250 -

Table 9

Take over reation-time analysis result

Text-only M = 3.44, SD = 0.47
Earcon + Text M = 1.79, SD = 0.23
Spearcon + Text M = 2.06, SD = 0.27
Speech + Text M = 1.87, SD = 0.18

Table 10

Take over request haptic alarm

Haptic signal Location of signal Interval of signal
IV Back Hip All Static Dynamic
Amplitude 200 ~ 250 Hz
Interval - on / off
200 / 50 ms

Table 11

Take over reaction-time analysis result

DV IV
Location Interval
Back Hip All Static Dynamic
Reaction time mean (s) 1.93 2.36 2.11 2.11 2.05
Reaction time std (s) 0.90 1.23 1.03 1.03 1.02
P-value Kruskal-wallis 0.466
Mannwhitney 0.844