실도로 환경에서의 뇌파 기반 운전자 부주의 경고 시스템 효과 평가

1. 서 론

도로교통공단에서 2022년에 제시한 교통사고 통계분석¹⁾ 중 사업용차량사고 가해자 법규위반사항을 살펴보면 안전운전의무불이행이 54.0 %로 가장 많았고, 그 다음으로 안전거리미확보(13.4 %), 신호위반(11.1 %)이 그 다음을 차지했다. 이는 차량이나 환경적인 요인보다 인적 요인으로 인한 교통사고 비율이 높음을 알 수 있다. 따라서, 교통사고 발생률을 효과적으로 줄이기 위해 운전자의 인적 오류(Human error)의 최소화가 필요하다.

조재훈 등²⁾은 시내버스 교통사고 블랙박스 영상자료 623건을 통해 주요 사고 원인과 운전자 위험상황 행동에 대해 조사했다. 이 중 운전자의 안전운전 불이행 사고는 총 39건이였다. 이 중 전방주시태만 사고는 20건(51.3 %), 졸음운전사고 9건(23.1 %), 차내기기조작 7건(17.9 %), 난폭운전 2건(5.1 %), 핸들과대조작 1건(2.6 %)을 차지했다. 이를 통해 졸음, 산만함과 같은 운전자 부주의 등과 같은 인적 요인으로 인한 사고를 줄이기 위해 운전자의 상태를 모니터링하고 적절한 경고를 통해 운전자가 각성할 수 있는 상태를 만들 수 있는 기술이 필요함을 알 수 있다.

운전자 상태 모니터링 연구는 1950년대부터 항공기 조종사의 졸음운전 연구로부터 시작되었다. 1990년대 자동차 업계와 공공안전기관에서는 운전자 졸음(Drowsy driver)에 대해 관심을 가졌으며, 1990년대 후반 미국과 유럽에서는 운전자의 피로를 감지하는 기술에 주목했다. 그 이후로, 연구자들은 뇌파, 맥박수, 심전도와 같은 생리적 신호, 머리 위치, 눈을 감는 속도, 눈꺼풀 움직임과 같은 신체적 변화, 조향각, 가속페달 및 브레이크의 입력, 속도와 같은 운전자-차량 데이터, 그리고 운전자 보조 작업(Secondary task) 응답 측면에서 다양한 운전자 졸음 감지 방법을 개발해왔다.³⁾

수동주행에서 운전자는 직접 운전하므로 운전자 상태를 모니터링하는 것이 중요하다. 자율주행에서는 시스템이 운전하므로 운전자 모니터링 시스템이 필요하지 않다고 여겨질 수 있지만, 자율주행차량에서도 운전자 모니터링이 필요하다. SAE J3016⁴⁾은 미국 자동차공학회(SAE international)에서 2014년 1월에 최초로 제시한 표준으로, 운전 자동화 수준에 따라 자율주행을 레벨 0(자동화 없음)부터 레벨 5(완전 자동화)까지 총 여섯 단계로 구분했다. 레벨 0부터 레벨 2까지는 운전자 지원(Driver support)으로 자율주행이 아니므로 운전자는 주행상황을 지속적으로 모니터링 해야 하며, 운전에 대한 책임이 있다. 자율주행(Automated driving)으로 분류되는 3단계에서는 운전자가 항상 운전하지 않고, 주행 상황을 모니터링하지 않아도 되지만, 차량이 직접 운전할 것을 요청하면 언제든지 대응할 수 있어야 한다. 운전자는 항상 운전을 재개할 수 있는 상태로 있어야하기 때문에 여전히 모니터링 시스템이 필요하다.

2019년 국토교통부에서 제정한 ‘자동차 및 자동차부품의 성능과 기준에 관한 규칙’의 ‘부분 자율주행시스템의 안전기준’⁵⁾에 따르면, 운전자 모니터링 시스템은 운전자의 착석 여부 및 안전띠 착용 여부와 운전자의 운전조작 가능 여부를 항상 감지할 수 있어야 한다. 자율주행 시스템은 운전자가 운전조작을 할 수 없다고 감지하자마자 다른 신호와 구별되는 청각 경고를 제공해야한다. 그 이후 15초 동안 운전자 활동이 없는 경우 즉시 운전전환요구(제어권 전환)를 시작하도록 한다.

UNECE 산하의 차량 규정에 대한 국제 조화 포럼(WP.29)에 소속된 자율주행차량 관련 전문 분과인 GRVA(Working Party on Automated/Autonomous and Connected Vehicles)에서는, 운전자가 Eyes-off, Head-off 상태인 경우, 운전자 모니터링 시스템은 운전자에게 알림을 제공해야한다고 논의했다.⁶⁾ 현재까지 국제회의에서는 Eyes-off, Hands-off 방법만 논의되었지만, 향후에는 운전자의 상태를 파악하기 위해 시선, 머리 자세뿐만 아니라, 운전자의 피부전기전도도, 심전도, 뇌파 신호와 같은 생체 신호를 활용한 운전자 모니터링 기술이 적용될 수 있을 것으로 기대된다(자세한 내용은 2장 문헌 연구에서 설명한다). 양산 차량에 생체 신호 기반 운전자 모니터링 시스템을 적용하기 위해서는 시뮬레이터 혹은 실차 실험을 통한 검증이 필요하다.

임현준 등⁷⁾은 뇌파(Electroencephalogram, EEG) 신호 분석을 통해 운전 중 부주의 상태를 판단하고 청각적 경고 알람을 통한 부주의 저감 효과를 연구했다. 공공버스 운전직 종사자를 대상으로, 이어셋형 뇌파 센서를 착용하여 데이터를 취득하였다. 청각 알람 기능 ON/OFF 조건에서 실험을 진행한 결과, 청각 알람 기능을 OFF했을 때보다 ON했을 때 주의력 점수(뇌파를 기반으로 1에서 100점으로 산출된 집중도)가 상승하고, 부주의한 상태에서 울리는 경고 알람 횟수가 감소하는 효과를 확인했다. 본 연구는 임현준 등(2022) 연구의 후속 논문으로, 취득된 뇌파, 설문 데이터를 활용하여 부주의 상태 전후 뇌파 변화량, 주관적인 스트레스, 졸음 수준에 대해 분석한다. 연구의 결과는 향후 운전자 모니터링 시스템 및 알림 개선에 인사이트를 줄 것으로 예상한다.

2. 문헌 연구

이상화 등⁸⁾은 운전자의 시선(Gaze)과 머리자세(Head pose)를 추적하여 운전자의 주의 산만을 측정하는 알고리즘을 제시하였다. 제시한 시선 추적 기술은 운전자의 시선 방향 벡터를 활용해, 운전자가 운전에 필요한 곳을 주시하는 지의 여부를 판단하는 알고리즘이다. 기존 알고리즘은 후진 상황에서 운전자가 후방을 주시하면 주의 산만으로 판단하는 문제가 있었다. 이와 같이 특수한 주행 상황에서도 정확한 판단을 할 수 있도록 개선된 알고리즘과 카메라를 활용하여, 실제 차량을 기반으로 운전 상황에서 발생할 수 있는 행동들을 시연하였다. 결과적으로, 시선은 올바르게 도로를 향하고 있지만 도로 상황을 주의 깊게 주시하지 않은 상태 등의 판단하기 어려운 특수한 상황에서도 운전자의 주의 산만 상태를 감지할 수 있음을 확인하였다.

김규빈 등⁹⁾은 차량 시뮬레이터를 기반으로, 착용형 시선 추적기를 착용한 운전자의 시선 정보를 취득하였다. 물체를 인식하는 방법으로는 딥러닝 기반 알고리즘인 YOLO 모델을 사용하였다. YOLO 모델을 바탕으로, 운전자의 시선 정보와 전방 동영상을 결합하여 전방의 물체를 인식하였다. 결과적으로, 인식된 정보를 활용하여 운전자가 응시하지 않은 객체가 자차량에 일정 거리 이상으로 가까워진다면, 운전자에게 경고 메시지를 제공하는 모델을 개발하였다. 이와 같은 운전자 시선 추적 및 물체 인식 시스템은 운전자에게 안전한 주행 환경을 제공하는 데 효과적이다.

황성욱 등¹⁰⁾은 운전자의 감정 상태를 판단하기 위해 딥러닝 알고리즘 모델을 개발하였다. 특별한 표정이 없는 운전자가 실제로 느끼는 감정을 숨은 감정이라고 정의하였으며, 이 숨은 감정을 모니터링하기 위해 운전자의 표정 상태와 피부전기전도도 신호를 융합하였다. 운전자의 표정 상태는 얼굴 이미지 기반의 FER(Facial Expression Recognition) 알고리즘 모델을 사용하였다. 운전자의 감정 판단 정확도는 FER 알고리즘 사용 시 45.0 %, 피부전기전도도 사용 시 35.9 %, FER 알고리즘과 피부전기전도도 융합 사용 시 82.2 %였다. 결과적으로, 운전자의 얼굴 영상 정보와 생체 정보를 활용하여 감정 상태 판단이 가능함을 확인하였다.

Murugan 등¹¹⁾은 운전자의 심전도(ECG)를 감지 및 분석하여 운전자의 상태 모니터링이 가능함을 확인하였다. 심전도는 심박수와 심박변이도 신호를 감지할 수 있는 비침습적(Non-invasive)인 신호이다. 심전도 신호는 다른 생체 신호에 비해 노이즈가 적어, 운전자의 상태를 식별하는 데 효과적인 신호로 알려져 있다. 심박수와 호흡수를 활용하면 운전자의 졸음 상태를 파악하는 데 효과적인 것으로 밝혀졌다. 또한 심박변이도를 활용하여 졸음과 피로, 그리고 부주의 상태를 파악하기 위해 많은 연구가 진행되고 있다. 시뮬레이터를 운전하는 운전자의 정상, 졸음, 피로, 시각적 및 인지적 부주의와 같은 상태를 실험을 통해 확인하였다. 실험에는 19 ~ 35세 연령대의 운전자 10명이 참여하였다. 심전도 신호는 운전자 손목에 전극을 부착하여 취득하였다. 실험 결과, 심전도 신호를 활용한 ‘정상-졸음, 정상-시각적 부주의, 정상-피로, 정상-인지적 부주의’의 두 부류에 대한 상태 판단은 각각 100 %, 93.1 %, 96.6 %, 96.6 %의 정확도를 제공하였다.

Jeong 등¹²⁾은 운전자의 안전도(EOG), 피부전기전도도(GSR), 근전도(EMG), 심전도(ECG) 신호를 활용하여 운전자의 부주의 상태를 판단하였다. 실험에는 총 14명이 참가하였으며, 실차 캐빈 기반의 차량 시뮬레이터에서 네비게이션 시스템 위치에 따른 운전자의 시선 분포를 관찰하는 실험을 진행하였다. 실험 결과 운전자의 시선 분석을 통해, 네비게이션 시스템의 위치에 따라 운전자의 시선 분포가 달라지는 것을 발견했다. 센터페시아에 위치한 기존의 헤드 다운 디스플레이에 비해, 헤드업 디스플레이 위치는 운전자 시야에 방해가 되며, 운전자가 다른 차선과 교통 상황을 모니터링하는 데 방해가 됨을 확인하였다. 이와 같은 경향은 전면 가운데에 위치한 헤드업 디스플레이에서 가장 두드러지게 나타났다. 반면, 센터페시아에 위치한 헤드 다운 디스플레이의 경우, 피부전기전도도 신호에서 유의한 차이로 낮게 나타났다. 일반적으로 피부전기전도도 신호가 증가하면 정신적 부하가 증가한다는 것을 의미한다. 결과적으로 차량 내 디스플레이 설치 위치에 따라 안전에 위험 요소가 될 수 있음을 확인하였다.

김민수 등¹³⁾은 운전자가 각성 상태일 때와 졸음 상태일 때를 구분하여 심전도(ECG) 특성을 분석하였다. 총 30명의 실험 참가자를 모집하였으며, 실험 참가자에게 졸음 상태를 유도하기 위해 실험 전날의 수면시간을 4시간 이하로 설정하였다. 실험 참가자는 각성 상태일 때와 졸음 상태일 때 각각 5분 이상씩 게임용 운전 시뮬레이터를 주행하였다. 각성 상태와 졸음 상태일 때의 ECG R-R interval 평균 비교 결과, 각성 상태의 경우 790.55 (±125.69)이며, 졸음 상태의 경우 821.18(±105.82)로 3.874 % 증가함을 확인했다. 결과적으로 운전자의 각성 및 졸음 상태에 따라 운전자 심전도(ECG) 신호에 차이가 있음을 확인하였다.

Zhang 등¹⁴⁾은 무선 웨어러블 뇌파 기기를 사용하여 열차 기관사의 피로를 감지하는 시스템을 제시했다. 8채널로 구성된 무선 웨어러블 장비가 운전자의 뇌파를 취득하고, FFT(Fast Fourier Transform)와 PSD(Power Spectrum Density)를 활용한 SVM(Support Vector Machine) classification 방법으로 알고리즘을 구현하였다. 피로가 감지되면, 경보가 작동하도록 한다. 시뮬레이터 실험 결과, 제안하는 알고리즘이 운전자 부주의 감지에 우수한 성능을 가진다는 결론을 제시했다.

앞서 설명한 문헌 연구를 통해 운전자 시선, 머리 자세, 피부전기전도도, 심전도, 근전도, 혹은 뇌파 신호를 활용하여 운전자의 부주의 상태를 판단하는 알고리즘이 개발되었고, 시뮬레이터 또는 실차 실험을 통해 그 효과를 확인한 것을 알 수 있었다. 뇌파를 사용한 운전자 모니터링 알고리즘 개발, 검증에 대한 연구는 진행되었으나, 실제 사용자를 대상으로 데이터를 취득하고 평가한 연구는 찾아보기 어렵다. 본 연구에서는 버스 실차에서 뇌파 기반 운전자 부주의 경고 시스템을 활용하여 실제 업무(운행) 중 버스 기사의 뇌파를 취득하고 분석하고자 한다. 뇌파 기반 운전자 부주의 경고 시스템의 효과를 검토하기 위한 연구 질문은 다음과 같다.

• - Research Question 1(RQ1): 운전자 부주의 경고 시스템의 부주의 알림 ON/OFF 조건에 따라 부주의 상태 전후 뇌파 변화의 차이가 있다.
• - Research Question 2(RQ2): 운전자 부주의 경고 시스템의 부주의 알림 ON/OFF 조건에 따라 운전자 부주의 빈도의 차이가 있다.
• - Research Question 3(RQ3): 운전자 부주의 경고 시스템의 부주의 알림 ON/OFF 조건에 따라 주행 전후 스트레스, 졸음 변화의 차이가 있다.

3. 연구 방법

3.1 실험 장비

본 연구에서는 뇌파 기반 운전자 부주의 경고 시스템(Electroencephalogram(EEG)-based driver inattention warning system)인 M. Brain을 사용하였다(M. Brain)(Photo. 1). 해당 장비는 이어셋 형태이며, 운전자의 우측 귀에 착용한다. 운전자의 우측 귀 주변의 뇌파 신호를 256 Hz로 취득하여 운전자의 상태를 감지하고, 감지한 데이터를 기반으로 부주의 상태를 판단하여 경고 알림을 제공하는 기능이 있다. 데이터 취득은 실제 운행 중인 경기도 공공버스에서 진행되었다.

Photo. 1

M. Brain15)

3.3 종속 변수

다음과 같이 RQ1를 분석하기 위한 지표로 RT, RS, RMB, RSMT를, RQ2를 분석하기 위한 지표로 FIM을, RQ3를 분석하기 위한 지표로 스트레스, 졸음을 선정하였다.

3.3.1 Relative Theta power(RT)

Theta wave는 4-8 Hz 영역에 해당하며, 졸음 상태일 때 활성화된다.¹⁶⁾ 본 연구에서는 전체 뇌파(1-50 Hz)에서 Theta파(4-8 Hz)가 차지하는 비율인 Relative theta power(RT)를 지표로 사용하였다.¹⁷⁾ RT가 높아진다는 것은 전체 뇌파에서 Theta파가 차지하는 비율이 높다는 것을 의미하며, 주행에 덜 집중했다고 볼 수 있다(Table 1). 본 연구에서는 부주의 상태 시점 기준, 부주의 상태 이전 RT의 변화량과 부주의 상태 이후 RT의 변화량을 비교했다.

Table 1

Dependent variables

3.3.2 Relative SMR power(RS)

SMR파는 13-15 Hz 영역에 해당하며 집중할 때 활성화된다.¹⁶⁾ Relative SMR power(RS)는 전체 뇌파(1-50 Hz)에서 SMR파(13-15 Hz)가 차지하는 비율을 의미한다. RS가 높아진다는 것은 전체 뇌파에서 SMR파가 차지하는 비율이 높아진다는 것을 의미하며, 주행에 집중했다고 볼 수 있다(Table 1). 본 연구에서는 부주의 시점 기준, 부주의 상태 RS의 변화량과 부주의 상태 이후 RS의 변화량을 비교했다.

3.3.3 Relative Mid Beta power(RMB)

Mid beta파는 15-20 Hz영역에 해당하며 집중할 때 활성화된다.¹⁶⁾ Relative mid beta power는 전체(1-50 Hz)에서 Mid beta파(15-20 Hz)가 차지하는 비율을 의미한다. RMB가 높아진다는 것은 전체 뇌파에서 Mid beta파가 차지하는 비율이 높아진다는 것을 의미하며, 이는 운전자가 주행에 집중했다고 볼 수 있다(Table 1). 본 연구에서는 부주의 시점 기준, 부주의 상태 이전 RMB의 변화량과 부주의 상태 이후 RMB의 변화량을 비교했다.

3.3.4 Ratio of SMR–mid beta to Theta(RSMT)

RSMT는 집중 관련 지표로, Theta, SMR, Mid beta 파를 활용하여 식 (1)같이 계산할 수 있다.¹⁸⁾ 본 연구에서는 운전자의 RSMT가 높을수록 주행에 집중했다고 평가했다(Table 1). 본 연구에서는 부주의 시점 기준, 부주의 상태 이전 RSMT의 변화량과 부주의 상태 이후 RSMT의 변화량을 비교했다.

$\[ RSMT=\frac{\text{SMR+mid beta}}{\text{theta}} \]$

(1)

3.3.5 Frequency of Inattention per Minute(FIM)

FIM은 1회 주행 시, 1분(Minute)당 부주의 상태에 도달한 횟수를 의미한다. FIM이 적을수록, 운전자가 운전에 더 집중했다고 볼 수 있다(Table 1).^7,19) 본 연구에서는 실험 참가자별로 경고 알림을 켠 조건의 FIM의 평균과 알림을 끈 조건의 FIM의 평균을 비교했다.

3.3.6 스트레스(Stress)

본 연구에서는 부주의 경고 알림 ON/OFF에 따른 주행 전 스트레스와 주행 후 스트레스를 비교했다. Stress 측정 문항은 주관적 직무 난이도를 측정할 수 있는 NASA-TLX를 참고하여 설계되었다. NASA-TLX는 100점 또는 21점을 사용하지만, 본 연구에서는 실험 참가자들이 업무 중 자신의 상태를 체크하기 위해 스마트폰(갤럭시 S9)을 사용하여, 설문 척도가 많은 경우 설문 GUI(Graphical User Interface)의 가시성이 저하될 수 있다는 점, 그리고 홀수 척도의 설문을 주행 전, 후마다 수행하는 경우, 중립적인 응답을 반복할 수 있다는 점을 고려하여 설문을 4점 척도로 간소화했다(Table 1).

3.3.7 졸음(Drowsiness)

본 연구에서는 부주의 경고 알림 ON/OFF에 따른 주행 전 졸음과 주행 후 졸음 정도를 비교했다. 특정 시점의 졸음을 주관적으로 평가할 수 있는 설문인 SSS(Stanford Sleepy Scale)를 참고하였다.²¹⁾ SSS 설문은 7점 척도지만, 스트레스 설문과 같은 이유로, 4점 척도로 간소화했다(Table 1).

4. 실험 결과

20명의 실험 참가자가 이어셋을 착용하고 운행한결과, 47일간 961회차의 데이터가 취득되었다. 주행 중 데이터 취득이 중단되거나, 설문에 참여하지 않는 등 누락된 데이터가 있는 주행 회차는 분석에서 제외하였다. 즉, 주행 전 설문 - 뇌파 데이터 취득(90분 이상) - 주행 후 설문을 모두 수행한 주행 회차의 데이터만 분석에 사용하였다. 데이터 이상치가 많은 실험 참가자 7명의 데이터를 분석에서 제외하여, 13명의 데이터만 분석에 사용하였다. 실험 참가자들은 본 실험 전, 일주일 간의 파일럿 실험을 통해 이어셋의 착용 방법을 익히고 전체 실험 절차를 경험했다. 이로 인해, 본 실험에서 실험 참가자에게 발생할 수 있는 실험에 대한 생체적, 심리적 영향을 최소화하였다. 결과적으로, 파일럿 실험의 데이터를 제외하고, 본 실험에서 취득한 데이터 중, 위와 같은 조건을 모두 만족하여 데이터 분석이 가능한 주행 회차는 총 328회였다. 분석 S/W로 MATLAB R2021b, SPSS 26이 사용되었다.

4.1 부주의 경고 알림 ON/OFF 조건에 따른 부주의 상태 전후 뇌파 변화 비교(RQ1)

4.1.1 데이터 분석 방법

본 연구에서 RT, RS, RMB, RSMT를 분석하기 위해 다음과 같은 데이터 전처리가 수행되었다. 1) 실험 참가자마다 취득된 데이터 스케일이 달라, 개인차를 줄이기 위해 최대-최소 정규화 방법으로 데이터를 0에서 1 범위로 정규화했다(식 (2)). 정규화는 RT, RS, RMB 지표에만 적용되었다.

$\[ \begin{array}{c}{x}_{scaled }=\frac{\text{x}-x_{min}}{x_{max}-x_{min}}\\ \text{where} x : \text{acquired data}\end{array} \]$

(2)

2) 계통추출법(Systematic sampling)을 사용하여 30분 간격으로 부주의 시점의 데이터를 표본으로 추출하였다. 즉, 30분 동안 두 번 부주의 상태에 도달한 경우, 첫 번째로 부주의 상태에 도달한 데이터만 표본으로 선정하였다. 3) 데이터는 1초 단위로 분석되었는데, 부주의 시점 기준 30초 전후 데이터 중 결측치가 있는 표본은 분석에서 제외되었다. 4) 부주의 시점을 기준으로, 부주의 이전 4-10초 간 데이터의 변화량의 중간값(식 (3)), 부주의 이후 4-10초 간 데이터의 변화량의 중간값(식 (4))이 분석되었다.

$\[ \begin{array}{c}{x}_{before}=\text{Median}\left(x_c-x_i,x_c-x_{i+1},\dots ,x_c-x_n\right)\hfill \\ \text{where x : acquired data}\hfill \end{array} \]$

(3)

$\[ \begin{array}{l}{x}_{after}=\text{Median}\left(x_c-x_i,x_c-x_{i+1},\dots ,x_c-x_{n,}\right)\\ \text{where} x : \text{acquired data}, x_c: \text{data at the point of inattention}, \\ x_n: \text{data in n seconds before or after the inattention state}(x_i=4, x_n=10)\end{array} \]$

(4)

통계 분석 방법으로 Two-way mixed-design ANOVA를 사용하여, 부주의 알림 ON/OFF 조건에 따른 주행 전 뇌파와 주행 후 뇌파의 변화를 비교했다. 고정 요인은 부주의 알림 ON/OFF, 반복 측정요인은 시간(부주의 시점 전, 부주의 시점 후)이다.

4.1.2 Relative Theta power(RT)

분석 결과, 알림에 따른 RT의 주효과는 없었다(F(1,767)=0.002, p=0.967). 반면, 시간에 따른 RT의 유의미한 주효과가 있었다(F(1,767)=23.979, p<0.001). 부주의 시점 전보다 부주의 시점 후 RT가 더 적었다. 알림과 시간에 따른 RT의 유의미한 상호작용 효과는 없었다(F(1,767)=1.166, p=0.281) (Tables 2, 3, Fig. 1).

Table 2

Descriptive statistics table of RT, RS, RMB, and RSMT(Mean(SD))

Table 3

Inferential statistics table of RT, RS, RMB, and RSMT

Fig. 1

Main and interaction effects(RT, RS, RMB, RSMT)

4.1.3 Relative SMR power(RS)

분석 결과, 알림에 따른 RS의 유의미한 주효과가 있었다(F(1,767)=5.347 p=0.021). 알림 ON 조건에서 RS보다 알림 OFF 조건에서 RS가 더 높았다. 반면, 시간에 따른 RT의 유의미한 주효과가 없었다(F(1,767)=1.859, p=0.173). 알림과 시간에 따른 RS의 유의미한 상호작용 효과는 없었다(F(1,767)=3.373, p=0.064)(Tables 2, 3, Fig. 1).

4.1.4 Relative Mid Beta power(RMB)

알림에 따른 RMB의 주효과는 없었다(F(1,767)=0.066, p=0.797). 마찬가지로, 시간에 따른 RT의 유의미한 주효과가 없었다(F(1,767)=0.339, p=0.560). 알림과 시간에 따른 RMB의 유의미한 상호작용 효과는 없었다(F(1,767)=1.540, p=0.215)(Tables 2, 3).

4.1.5 Ratio of SMR-Mid beta to theta(RSMT)

알림에 따른 RSMT의 주효과는 없었다(F(1,767)=3.172, p=0.075). 반면, 시간에 따른 RT의 주효과는 있었다(F(1,767)=30.160, p<0.001). 부주의 후 RSMT의 평균은 0.022로, 부주의 전 RSMT인 0.018보다 더 컸다. 알림과 시간에 따른 RSMT의 유의미한 상호작용 효과가 있었다(F(1,767)=6.980, p=0.008). 두 조건 모두 부주의 시점 전보다 부주의 후 RSMT가 높았는데, 알림 OFF 조건과 비교했을 때, 알림 ON 조건에서 그 차이가 더 컸다(Tables 2, 3, Fig. 1)

4.2 부주의 경고 알림 ON/OFF 조건에 따른 부주의 빈도 비교(RQ2)

4.2.1 데이터 분석 방법

본 연구에서는 부주의 지표인 분당 부주의 횟수(FIM)를 분석하기 위해 통계 분석 방법으로 Paired t-test를 사용하여 각 실험 참가자의 부주의 알림 켜짐 조건의 FIM의 평균과 부주의 알림 꺼짐 조건의 FIM의 평균을 비교했다.

4.2.2 Frequency of Inattention per Minute(FIM)

분석 결과, 부주의 알림에 따른 FIM의 유의미한 차이가 있었다(t(12)=-3.662, p=0.003, N=13). 부주의 알림이 작동했을 때 FIM의 평균은 0.427(표준편차: 0.241)로 부주의 알림이 작동하지 않았을 때 FIM인 0.572(표준편차: 0.231)보다 적었다(Fig. 2).

Fig. 2

Comparison of FIM according to alarm ON and OFF

4.3 부주의 경고 알림 ON/OFF 조건에 따른 주행 전후 스트레스, 졸음 비교(RQ3)

4.3.1 데이터 분석 방법

부주의 알림 ON/OFF 조건에 따른 주행 전후 스트레스, 졸음을 비교하기 위해 Two-way Mixed-Design ANOVA검정을 실시했다. 고정 요인은 부주의 알림 ON/OFF, 반복 측정요인은 시간(주행 전, 후)이다.

4.3.2 스트레스(Stress)

분석 결과, 부주의 알림에 따른 스트레스의 유의미한 주효과는 없었다(F(1,200)=0.125, p=0.724). 반면, 시간(주행 전후)의 유의미한 주효과가 있었다(F(1,200)=6.996, p=0.009). 평균을 비교한 결과, 주행 전 스트레스는 2.040으로, 주행 후 스트레스인 2.089보다 낮았다. 부주의 알림과 시간에 따른 스트레스의 유의미한 상호작용이 있었다(F(1,200)=10.385, p=0.001). 알림 OFF 조건에서 주행 전 스트레스보다 주행 후 스트레스가 낮았다. 하지만, 알림 ON 조건에서는 주행 전보다 주행 후 스트레스가 높았다(Table 4, Fig. 3).

Table 4

Mean, standard deviation, F-value, and p-value of survey indicator(Stress and Drowsiness)

Fig. 3

Main and interaction effect(Stress and Drowsiness)

4.3.3 졸음(Drowsiness)

부주의 알림에 따른 졸음의 유의미한 주효과는 없었다(F(1,200)=0.187, p=0.666). 마찬가지로, 주행 전, 후에 따른 졸음의 유의미한 주효과가 없었다(F(1,200)=0.326, p=0.569). 알림과 시간에 따른 졸음의 유의미한 상호작용은 없었다(F(1,200)=0.724, p=0.396) (Table 4, Fig. 3).

5. 논 의

5.4 확장 논의 - 운전자 모델

본 연구의 실험 설계 방법을 적용하여 Fig. 4와 같은 모델을 도출했다. 모델은 크게 운전자 모니터링 시스템과, 운전자 모델로 구성되었다. 이는 Human performance를 의식의 수준에 따라 범주화한 Rasmussen의 Skill, Rule, Knowledge-based model²²⁾과 SAE J3016에서 제시하는 DDT(Dynamic Driving Task) 모델³⁾을 결합한 운전자 모델이다. 운전자 모니터링 시스템에서는 운전자 모델에서 취득된 뇌파 데이터를 기반으로 운전자 상태를 정상 혹은 부주의 상태로 판단한다. 부주의 상태로 판단했을 때, 부주의 경고 알림 ON 조건인 경우, Feature formation (Skill 기반) 단계에서 알림의 특징을 형상화한 후, Recognition 단계에서 부주의 알림을 인지한다(Rule 기반). 이후 부주의 알림과 현재 상태를 연관 Association state/Task 단계, 기존에 알고 있는 방법을 활용하여 부주의 상태에서 벗어나는 Task를 파악하는 Stored rules for tasks 단계를 거친다(Rule 기반). 그 다음 감각-운동 패턴을 통해, 운전자는 부주의에서 벗어나는 행동을 하고, 차량의 종/횡방향을 제어하면서 운전작업을 수행한다. 반면, 부주의 경고 알림 OFF 조건에서는 운전자가 부주의한 경우 알림이 제공되지 않으므로 Rule 기반의 행동 과정을 거치지 않는다. 따라서, 알림 ON 조건에서 운전자는 각성 상태를 유지하려는 과정을 거칠 것이라고 예상할 수 있다. 하지만, 이는 문헌 기반 모델의 제안으로, 모델 수정 및 검증에 대한 논의가 필요하다.

Fig. 4

The Mental model IN Driving control(MIND) of EEG-based inattention system

6. 결 론

본 연구에서는 버스 실차에서 뇌파 기반의 운전자 부주의 경고 시스템(이어셋)에서 발생하는 부주의 경고 알림의 효과를 비교, 분석했다. 버스 운전자 20명을 대상으로 47일동안 경고 알림 ON/OFF 조건에서 운행하면서 뇌파 및 설문 데이터가 취득되었다. 데이터 손실, 품질 등을 고려하여 실험 참가자 13명의 데이터를 분석하였다. 분석 결과를 통해 도출된 주요 결론은 다음과 같다.

• 1) 부주의 경고 알림이 없는 조건과 비교했을 때, 부주의 경고 알림이 적용된 조건에서 부주의 상태 이전보다 이후의 RSMT(집중도)가 더 크게 증가했다. 이는 경고 알림을 적용했을 때, 부주의 상태 이후 운전자가 주행에 더 집중할 수 있다는 것을 의미한다.
• 2) 부주의 경고 알림이 적용된 경우, 운전자는 부주의 상태에 적게 도달할 수 있다.
• 3) 부주의 경고 알림이 적용된 경우, 주행 전보다 주행 후 스트레스가 유의미하게 크다. 반면, 알림 조건과 관계없이, 주행 전후 졸음 정도는 비슷하다.

본 연구의 의의는 뇌파 기반의 운전자 모니터링 시스템이 적용된 버스 실차에서 데이터가 취득되었다는 점이다. 뇌파 기반 경고 알림의 효과를 비교했다는 점은 Zhang 등¹³⁾의 연구와 비슷하지만, 본 연구에서는 실도로에서 운전자가 실제 업무(운행)하는 상황에서 데이터를 취득하고 분석했다는 점이 다르다. 또한, Zhang 등은 부주의 판단 알고리즘의 정확도를 비교한 반면, 본 연구에서는 경고 알림의 효과를 판단할 수 있는 뇌파, 설문 지표를 사용했다는 점이 다르다.

하지만 본 연구에는 다음과 같은 한계점이 있다. 첫 번째, 다양한 연령대와 성별을 고려하지 못했으며, 13명의 데이터만 통계 분석에 사용되었다. 실험 참가자가 4-60대의 남성 직업 운전 기사로 구성되었기 때문에, 버스 운전자 데이터에 대한 객관성, 재현성 및 대표성이 있다고 볼 수 있지만, 향후 연구에서는 20-30대의 운전자나 여성 운전자를 고려할 필요가 있다. 또한 더 많은 인원의 데이터를 수집하여 통계 검정력을 높일 필요가 있다. 두 번째, 실제 업무 중에는 교통 상황, 시간대, 승객의 개입과 같은 다양한 혼재변수가 발생할 수 있으나, 데이터 분석과정에서 이를 고려하지 않았다. 세 번째, 실험 참가자들은 이어셋 기기와 청각 알림에 불편감을 느꼈다. 이러한 한계를 개선하기 위해, 향후 연구로 나이, 시력, 청력 민감도, 피로도 등을 고려한 부주의 알림의 개인화, 청각 알림 스펙 개선, 시각, 촉각 또는 후각을 활용한 부주의 경고 알림 다양화, 머신러닝을 활용한 데이터 분석 등이 제안될 수 있다.

향후 개선된 운전자 부주의 경고 시스템을 통해, 졸음, 산만함과 같은 운전자의 부주의를 예방하고, 교통사고로 인한 경제적, 사회적 비용의 절감을 기대한다.

Acknowledgments

본 연구는 현대모비스의 지원을 받아 수행된 연구임. 본 연구는 산업통상자원부 자율주행기술개발혁신사업의 지원을 받아 수행된 연구임(20018101, T Car 기반 자율주행 인지예측지능제어 차량부품시스템 통합평가 기술개발). 이 논문은 과학기술정보통신부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No.2021R1A2C1005433). 이 논문은 BK21의 지원을 받아 수행된 연구임(5199990814084). 이 논문은 2023년도 산업통상자원부의 재원으로 한국산업기술진흥원의 지원을 받아 수행된 연구임(P0017120, 2023년 산업혁신인재성장지원사업). 마지막으로 실험에 참여해주신 용남고속 임직원들께 감사드립니다.

References

• The Road Traffic Authority, Traffic Accident Statistical Analysis, 2022.
• J. Cho, K. Choi, J. Kim and N. Son, “A Study on the Characteristics of Bus traffic Accident and Dangerous Driving Behavior in Black Box Video Used at Bus,” Transport Technology and Policy, pp.11-16, 2018.
• J. H. Yang, Z. H. Mao, L. Tijerina, T. Pilutti, J. F. Coughlin and E. Feron, “Detection of Driver Fatigue Caused by Sleep Deprivation,” IEEE Transactions on Systems, Man, and Cybernetics-part A: Systems and Humans, Vol.39, No.4, pp.694-705, 2009. [https://doi.org/10.1109/TSMCA.2009.2018634]
• SAE On-Road Automated Vehicle Standards Committee, Taxonomy and Definitions for Terms Related to On-road Motor Vehicle Automated Driving Systems, SAE Standard J3016, 2021.
• The National Law Information Center, Regulation for Performance and Safety Standards of Motor Vehicle and Vehicle Parts, https://www.law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9E%90%EB%8F%99%EC%B0%A8%EB%B0%8F%EC%9E%90%EB%8F%99%EC%B0%A8%EB%B6%80%ED%92%88%EC%9D%98%EC%84%B1%EB%8A%A5%EA%B3%BC%EA%B8%B0%EC%A4%80%EC%97%90%EA%B4%80%ED%95%9C%EA%B7%9C%EC%B9%99, , 2022.
• Working Party on Automated/Autonomous and Connected Vehicles(GRVA), Proposal: UN-R79 Lane Keep Assist Hands-off. https://unece.org/fileadmin/DAM/trans/doc/2020/wp29grva/GRVA-07-23e.pdf, , Accessed 18 Jan 2023.
• H. Lim, C. Lee, Y. Jung, J. Lee and J. Hwang, “Analysis of Bus Driver Inattention State Based on EEG,” KSAE Spring Conference Proceedings, p.1008, 2022.
• S. Lee, Y. Ahn and C. Hong, “Driver Distraction Detectionusing Gaze Estimation and Activity Recognition,” Proceedings of the Korean Information Science Society Conference, pp.1782-1784, 2022.
• G. Kim, S. Kim, M. Sun, J. Lee, S. Hyeon and S. Lee, “Driver Gaze Tracking and Object Detection in a Driving Simulator,” KSAE Fall Conference Proceedings, p.743, 2020.
• S. Hwang, J. Park, S. Kim and S. Lee, “Study of Driver’s Status for Personalized Driving Performance Based on Deep Learning,” KSAE Spring Conference Proceedings, pp.325-330, 2022.
• S. Murugan, J. Selvaraj and A. Sahayadhas, “Detection and Analysis: Driver State with Electrocardiogram(ECG),” Physical and Engineering Sciences in Medicine, Vol.43, No.2, pp.525-537, 2020. [https://doi.org/10.1007/s13246-020-00853-8]
• C. Jeong, B. Kim, S. Yu, D. Suh, M. Kim and M. Suh, “In-vehicle Display HMI Safety Evaluation Using a Driving Simulator,” Int. J. Automotive Technology, Vol.14, No.6, pp.987-992, 2013. [https://doi.org/10.1007/s12239-013-0108-x]
• M. Kim, Y. Kim and Y. Heo, “Characteristics of Heart Rate Variability Derived from ECG during the Driver’s Wake and Sleep States,” Transactions of KSAE, Vol.22, No.3, pp.136-142, 2014. [https://doi.org/10.7467/KSAE.2014.22.3.136]
• X. Zhang, J. Li, Y. Liu, Z. Zhang, Z. Wang, D. Luo, X. Zhou, M. Zhu, W. Salman, G. Hu and C. Wang, “Design of a Fatigue Detection System for High-Speed Trains Based on Driver Vigilance Using a WirelessWearable EEG,” Sensors, Vol.17, No.3, Paper No.486, 2017. [https://doi.org/10.3390/s17030486]
• S. Yoon, Hyundai Mobis, The World’s First Development of a New Brainwave-based Accident Reduction Technology ‘M.Brain’, http://robotzine.co.kr/entry/257049, , 2021.
• C. Lee, J. Kwon, G. Kim, J. Homg, D. Shin and D. Lee, “A Study on EEG based Concentration Transmission and Brain Computer Interface Application,” Journal of the Institute of Electronics and Information Engineers, Vol.46, No.2, pp.41-46, 2009.
• Q. Zhou, J. Lin, L. Yao, Y. Wang, Y. Han and K. Xu, “Relative Power Correlates with the Decoding Performance of Motor Imagery both Across Time and Subjects,” Frontiers in Human Neuroscience, Vol.15, Paper No.701091, 2021. [https://doi.org/10.3389/fnhum.2021.701091]
• Y. Lee, H. Kim, E. Cheon, K. Kim, J. Choi, J. Kim, J. Kim and B. Koo, “The Analysis of Electroencephalography Changes Before and After a Single Neurofeedback Alpha/Theta Training Session in University Students,” Applied Psychophysiology and Biofeedback, Vol.44, No.3, pp.173-184, 2019. [https://doi.org/10.1007/s10484-019-09432-4]
• S. Hong, H. Lim, C. Lee, J. Lee and J. Yang, “Study on EEG-based Carelessness Warnings to Bus Driver,” 2022 IEEE 3rd International Conference on Human-Machine Systems(ICHMS), pp.1-2, 2022. [https://doi.org/10.1109/ICHMS56717.2022.9980701]
• S. G. Hart and L. E. Staveland, “Development of NASA-TLX(Task Load Index): Results of Empirical and Theoretical Research,” Advances in Psychology, Vol.52, pp.139-183, 1988. [https://doi.org/10.1016/S0166-4115(08)62386-9]
• E. Hoddes, V. Zarcone and W. Dement, Stanford Sleepiness Scale, Enzyklopädie der Schlafmedizin, Springer Berlin, Heidelberg, p.1184, 1972. [https://doi.org/10.1037/t07116-000]
• J. Rasmussen, “Skills, Rules, and Knowledge; Signals, Signs, and Symbols, and other Distinctions in Human Performance Models,” IEEE Transactions on Systems, Man, and Cybernetics, Vol.3, pp.257-266, 1983. [https://doi.org/10.1109/TSMC.1983.6313160]