다층 신경망을 이용한 보행자 머리 충격 량 예측에 관한 연구
Copyright Ⓒ 2020 KSAE / 179-04
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
According to statistics on fatalities in traffic accidents, about 38 % of all deaths were pedestrian related. For this reason, car manufacturers are conducting various research and commercialization from the perspective of both active safe and passive safe technology in order to prevent traffic accidents and minimize damage in the event of an accident. During the stage of vehicle development, vehicles are being designed in order to ensure the safety of pedestrians. However, in the current development phase, methods are in place to predict the number of pedestrian injuries after the prototype has been completed or to predict the number of injuries by means of a design-based mechanical analysis. This study proposes a method for predicting the acceleration of the standard value of pedestrian head injury using vehicle design data, impact volume test values, and multi-layer neural network. Vehicle design files are encoded in image form, and HIC raw values are predicted by using encoded data and multi-layer perceptron. The raw data is in the form of time series data. The models were trained and the results were predicted by using a parallel multi-layer perceptron model in order to predict the impact amount for each time. The results showed an error rate of 21.6 based on the RMSE. This would allow us to identify the safety of the vehicle from the design stage in advance, thereby enhancing efficiency and productivity during the development process.
Keywords:
Head injury criterion, Pedestrian safety, Passive safety, NCAP, Impact prediction, Multi-layer perceptron키워드:
머리 상해도, 보행자 안전, 수동 안전, 신차 안전도 평가프로그램, 충격 량 예측, 다층 퍼셉트론1. 서 론
도로교통공단의 최근 5년간(2014년~2018년) 교통사고 사망사고 통계에 따르면 전체 사망사고 중 약 38 %의 비율이 보행자 사망사고로 밝혀졌다.1) Fig. 1에서 보이는 바와 같이 교통사고의 수는 감소하는 추세임에도 불구하고, 약 30만명의 많은 사상자가 발생하고 있다. 이에 차량제작사는 주행 중 안전 및 보행자 안전을 위해 다양한 연구를 진행하고 있다. 국내에는 새로운 차량이 출시되면 KNCAP이라 하는 신차안전도 평가제도를 통해 자동차의 안전도를 공표하고 있다.2) 이는 정부에서 자동차의 안전성 평가를 수행하여 소비자에게는 안전한 차량을 선택할 수 있도록 하며, 자동차 회사에는 교통사고 시 인명피해를 최소화할 수 있는 안전한 차량을 개발하도록 하고 있다. 국가별 NCAP의 평가 항목으로는 정면충돌, 측면충돌, 기둥충돌, 보행자, 주행전복, 긴급제동 등이 포함된다. Table 1은 NCAP에서 일반적으로 진행하는 안전평가 항목을 나타낸다.3)
Traffic accident statistics (2014-2018)
NCAP assessment list
이에 차량 제조업체에서는 NCAP기준 평가를 토대로 안전한 차량을 개발하기 위해 안전시스템에 관한 연구 및 상용화를 진행하고 있다.
차량에 탑재되는 안전시스템의 종류는 크게 2가지로 능동안전과 수동안전으로 구분할 수 있다.
능동 안전이란 차량 주행 중 충돌사고 등에 대해 긴급제동, 회피 등을 통해 자체적 안전을 위한 기술이다. 최근 차량의 안전을 위해 탑재되는 ADAS의 차선 유지 보조(LKAS), 긴급 제동(AEB), 후 측방 경보 시스템(BSD)등이 이에 해당한다.4)
수동안전은 주행 중 차량사고 발생 시점을 전후로 탑승자 및 보행자의 안전을 위해 전개되는 것과 관련한 모든 안전 시스템을 말한다. 사고 발생 시 차량 후드의 장치를 전개하여 보행자의 충격 량을 감소시키는 Active Hood와 운전자 보호를 위한 에어백이 수동안전에 해당한다.5)
교통사고 예방을 위해선 차량 자체의 능동안전시스템의 발전도 중요하지만, 사고 직후의 충격 량을 감소시켜 사고간 안전을 보장하기 위해 수동안전의 발전 또한 중요하다. 현재 수동안전 분야에 대해서는 Active Hood와 같이 사고 발생 직후 차량의 구조물 전개를 통해 충격 량을 흡수하는 방법들이 활발하게 연구되고 있으며,5) 차량 프레임 설계방법을 변경하여 차량의 안전성능을 향상시키기 위한 연구도 진행되고 있다.6)
특히 보행자 평가 항목 중 HIC값을 줄여 보행자의 안전도를 높이기 위해 과거부터 다양한 연구가 진행되고 있다. HIC 실험에서 헤드 폼(Head form) 상해 메커니즘 분석을 통해 HIC값을 최소화할 수 있도록 하는 방법,7) 위상최적화를 통해 HIC값을 최소화할 수 있도록 하는 방법8) 등에 대한 연구가 수행되고 있다. 또한 차량의 디자인과 보행자보호와의 관계에 대한 연구와,9) 후드의 재료 특성에 따른 보행자 상해치에 대한 연구도 존재한다.10)
그러나 차량 설계를 변경하여 안전성능 평가 시 프로토타입 차량이 개발되기 이전까지는 정확한 성능을 예측하긴 어렵다. 이에 기구학적인 해석을 통해 충격 량을 예측하는 방법이 있지만 시간이 매우 오래 걸리며, 실제 충격 량과 오차로 인해 이를 차량 설계 시 예상성능 지표로 사용하기엔 어려움이 따른다. 그리고 기존 기술은 성능 관련 인자를 시험자가 경험을 바탕으로 수동으로 추출하여 예측하게 됨으로 주관적 해석이 포함될 수 있다. 또한 반복 실험을 통해 예측을 해야 하므로 필요 이상의 공수소요가 발생한다. Fig. 2는 기존 성능 인자를 수동으로 추출하여 해석을 통해 예측하는 방법과, 기계학습을 이용한 방법에 대한 비교를 나타낸다.
Comparison of conventional and deep learning method
이에 본 연구에서는 인공지능 기법 중 기계학습 방법인 다층 신경망(MLP)과 차량 설계도면, 그리고 보행자 머리 충격 량 실험데이터를 활용하여 보행자 머리상해 실험의 Raw value를 예측하는 연구를 수행하였다. 이를 통해 차량 개발단계에서 빠른 데이터 분석과 신뢰도 높은 예측을 통해 효율적인 보행자 충돌성능 평가 예측방법을 제안한다.
본 연구의 예측 결과물의 정성적 평가는 HIC raw data의 곡선의 유사 경향성으로 평가했으며, 모델의 정량적 평가는 RMSE를 통해 수행했다.
본 논문의 2장에서는 예측 모델의 학습을 위한 데이터베이스 구축방법과 설계도면 이미지의 전처리방법, 충격 량 데이터 추출방법에 대해 설명한다. 이어 3장에서는 예측모델의 구조와 시스템 플로우 차트에 대한 설명을 진행하고, 4장에서는 실험 환경과 실험방법 및 결과에 대해 설명한다. 마지막으로 5장의 결론에서는 본연구의 전체적인 결과와 향후 연구진행 방향에 대해 밝힌다.
2. 예측 모델 Database 구축
차량과 보행자간 충돌사고 발생 시 차량 후드부위에 보행자의 머리가 충격하게 된다. 이때 사람의 머리가 받는 충격 량은 X, Y, Z 방향의 각각 가속도구간 값을 적분한 값 중 최대값인 HIC로 표현하며, 해당 값의 구간에 따라 NCAP의 보행자 안전성능 지수를 평가하게 된다. 이에 차량 완성 차 업체에서는 헤드 폼(Head form)이라 칭하는 사람 머리모형을 차량 후드의 일정 포인트들에 타격하는 실험을 통해 차량 안전도 평가를 진행한다. Fig. 3은 NCAP 평가를 위한 보행자 머리 충격 실험을 나타낸다. 본 연구에서는 현대자동차로부터 제공받은 차량의 실체 보행자 머리 충격 량 실험 데이터와 CATIA로 구성된 차량 설계도면을 이용하여 예측 모델의 데이터베이스를 구축하였다.
NCAP vulnerable user safety assessment
2.1 HIC Raw Data Labeling
HIC값의 Resultant인 X, Y, Z 방향의 값들은 아래 Fig. 4와 같은 형태의 그래프와 해당 시점의 가속도 값으로 표현된다. 본 연구에서는 Diadem software를 통해 충격 량 값을 학습에 필요한 Label형태로 추출 및 구축하였다. 예측 모델 학습을 위해 하나의 충격 실험 당 0~15 ms까지 총 150개의 데이터를 이용하였다. Fig. 5는 Raw data labeling의 플로우 차트를 나타낸다. 이는 각각의 실험결과가 정리된 데이터를 Diadem software를 통해 0~15 ms 구간에서 총 150개의 데이터를 추출하는 과정을 의미한다.
HIC acceleration raw data graph
Flow chart of raw data labeling
2.2 Section Image Preprocessing
다층 신경망을 이용한 보행자 충격 량 Raw data 예측을 위해 CATIA의 CAD 파일로 구성된 차량의 단면을 이용하였다. Fig. 6과 같은 방법으로 보행자 안전성능 예측 시험이 행해지는 차량 후드를 Top view 형태에서 가상의 좌표계를 생성하였다. 그리고 생성된 좌표계에서 x축을 L, y축을 T 좌표로 명명하였다. Fig. 7은 각 L, T 좌표에 따른 차량 설계 도면의 이미지를 나타낸다.
Section coordinate of vehicle L, T
Vehicle design example image (Left: L, Right: T section)
본 실험에서는 다층 신경망의 입력으로 이미지를 활용하기 위해 아래 Fig. 8과 같은 순서로 데이터 전처리를 진행하였다. 먼저 전처리 알고리즘에 CATIA에서 캡처한 차량 단면 이미지를 각각 입력하고, 입력된 3채널 형태의 이미지를 Gray scaling 하였다. Gray scaling된 이미지는 0~255사이의 값들로 3채널 이미지 형태를 단일 채널의 이미지로 변경한다. 이때 본 연구에서는 차량의 재질 특징을 예측모델의 학습에 반영하기 위해 단순한 Gray scaling이 아닌, 재질의 강도 별 값을 단단할수록 높은 값을 할당하여 재질특성을 유지하고자 하였다. CATIA 도면에서 색상별로 각각 강체, 플라스틱, 스틸 등으로 구분되어 있고, 구분된 재질 별 인코딩 값은 Table 2와 같다. 1 채널로 인코딩 된 이미지는 다시 다층 신경망의 입력으로 활용하기 위해 100 × 100 사이즈의 이미지로 변경하게 된다. 그리고 변경된 이미지를 각각의 픽셀 위치 별 요소값을 합하여 네트워크의 입력으로 활용한다. Fig. 9는 Fig. 7의 L, T Section 이미지를 겹쳐 놓은 형태로 모델에 단일형태로 입력하기 위해 수행된 결과이다.
Flow cart of image preprocessing
Vehicle part material encoding value
L, T overlap image (for input of network)
3. Network 구조
본 논문에서는 HIC raw data의 회귀예측을 위해 다층 신경망을 활용하여 3장에서 구축된 데이터베이스를 바탕으로 네트워크를 학습시키고, 학습된 모델을 바탕으로 차량 도면 입력 시 해당 도면에서의 0~15 ms의 HIC raw data를 예측하는 모델을 개발하였다.
제안한 HIC raw data 회귀 예측을 위해 본 연구에서는 다층 신경망(MLP)을 사용하였다. 다층 신경망은 인공 신경망이라 하며, 은닉층을 통해 입력 데이터로부터 패턴을 찾고, 예측 값을 출력한다.11) 즉 기존 사용자가 성능인자를 경험 등에 의해 추출하여 예측을 수행하는 기존 방식과는 다르게, 입력데이터로부터의 특징을 네트워크 스스로가 학습함으로써 보다 객관화된 예측이 가능하다.
본 실험에서 활용한 네트워크는 입력과 출력층을 제외하고, 3층의 은닉층으로 구성되어 있다. 각 층의 출력에는 비선형성을 부여하여 다층 신경망(MLP)에서 층을 깊게 하는 효과를 위해 활성함수로 0 이상의 값에서는 선형함수를, 0 미만의 값에서는 0의 값을 갖는 ReLU가 사용되었다.12) 그리고 네트워크의 출력층에는 회귀예측을 위해 선형 함수가 활용되었다. Fig. 10은 HIC Raw data 예측을 위한 전체 시스템의 플로우 차트를 나타내며, Table 3은 단일 네트워크 구조를 나타낸다.
Flow cart of HIC raw data regressor
Network architecture
보행자 머리 충격 량 값은 시간에 따른 X, Y, Z 방향의 가속도 값들 중 최대값을 적분을 통해 계산한다.13) 본 연구에서는 다층 신경망을 병렬로 활용하여 각각의 Time sequence에 대해 학습을 진행하였다. 즉 1개의 다층 신경망을 가속도 시험의 시간구간만큼 병렬로 활용하였다. Fig. 11은 전체 네트워크 구조를 나타낸다. 그림에서 Section overlap 이미지는 각각 전처리 과정을 거친 이미지를, t는 시간에 따른 Raw data를 나타낸다.
Entire network architecture of HIC raw data regressor
4. 실험 및 결과
4.1 시뮬레이션 환경
본 연구에서 제안한 다층신경망의 학습을 위해서 활용된 하드웨어 사양은 Table 4와 같다. 그리고 소프트웨어 환경은 Ubuntu 16.04 LTS에서 CUDA 9.0, cuDNN 7.1, 그리고 Python 3.6 환경에서 딥러닝 프레임 워크인 Tensorflow와 Keras를 이용하여 모델 및 데이터 전처리를 진행하였다.
Hardware spec for experiment
4.2 평가 방법
본 연구에서는 보행자 머리 충격 량인 HIC의 Raw data를 회귀 예측하는 모델을 개발한다. 회귀예측의 경우 분류문제와는 다르게, 정확도(Accuracy)가 아닌, 오차율로서 모델의 성능을 평가한다. 이에 본 실험에서는 실제 값과 예측 값의 오차를 RMSE로 계산하였다. RMSE는 예측 값과 실제 값의 차이를 제곱하여 합하고, 전체 수만큼 합하여 제곱근을 씌운다. 아래 식 (1)은 RMSE 수식을 나타낸다.
| (1) |
4.3 실험 및 결과
HIC raw data 예측 모델의 학습을 위해 현대자동차로부터 제공받은 데이터베이스를 학습시켰다. 이는 학습 후 예측 모델의 범용성을 확보하기 위해 다양한 차종, 크기별로 구성되어 있으며, 전체 18차종에 대한 L, T Section 이미지와 각 포인트별 Raw data(0~15 ms간 150개씩)를 포함한다. 그리고 경차 1차종에 대해 평가를 진행하였다. Table 5는 학습, 검증, 평가를 위한 데이터의 수를 나타낸다. 모델 학습 시 학습이 올바른 방향으로 진행되고 있는지 확인하기 위해 Validation set을 전체데이터를 랜덤하게 섞은 후 10 %를 분리하여 사용하였다. 전체 모델 데이터는 1.4 K개의 데이터 중 평가용 데이터로 67개를, 130개 데이터를 검증용 데이터로 구분하고, 나머지 데이터들을 모델 학습에 활용하였다. 모델 학습시의 학습률은 0.01에서 Epoch 50마다 0.5배씩 감소시켰다. 학습 과정 중 다층 신경망의 파라메터들이 최적의 값을 갖고, 임무를 수행하기 위해 사용한 최적화 알고리즘은 ADAM을 사용하였다.14) ADAM은 Momentum15)의 관성을 통해 학습 과정에서 지역 최소점을 벗어나 원활한 학습이 가능 하도록 하는 장점과 RMSProp16)의 과거 기울기 변화량을 참고하여 각 변수 별 변화량에 따라 Step size를 달리하는 장점을 합친 최적화 알고리즘이다. 이때 ADAM에서 Beta 1은 0.9, Beta 2는 0.999의 기본값을 활용하였다.
Data configuration
학습이 완료된 모델을 검증하기 위해 활용된 평가데이터는 경차종류의 단일 모델이며, 후드 상 타격 지점 별 실험 모델의 예측 결과 예는 아래 Fig. 12의 4개 그래프와 같다. Fig. 12의 (a)와 (b)는 차량 후드 중간 영역(T section 5)의 포인트 예측 결과를 나타내며, (c)와 (d)는 차량 후드 시작부분(T section 1)의 예측 결과를 나타낸다. 빨간색 점선으로 표기된 기존 값과 파란색 실선으로 표기된 예측 값 비교 시 예측 경향성을 확인할 수 있다.
Result of raw data regression
각각의 예측 값과 실제 실험값의 평균 RMSE오차는 21.6로 확인하였다. 최소 RMSE 값은 9.69가, 최대는 37.15임을 확인할 수 있었다.
후드의 시험 포인트별 RMSE의 편차가 큰 것은 시험 포인트별 데이터 수의 편차가 존재하였음을 확인하였다.
5. 결 론
본 연구에서는 차량 설계 도면과 보행자 충격 량 시험평가 결과를 다층 신경망을 통해 학습시키고, 이를 활용한 HIC raw data의 회귀예측에 대해 제안하였다.
학습 이미지 구축은 CATIA 설계도로 구성된 차량의 단면을 캡처하고, 엔진 룸 부품들을 재료에 따라 인코딩 후 리사이징 및 L, T section 병합을 통해 단일 이미지의 형태로 생성하였다. 학습 이미지의 라벨에 해당하는 Raw data는 Diadem을 활용하여 헤드폼을 활용한 실제 보행자 안전성능 시험 결과들 중 가속도 센서로부터 취득된 0~15ms간 X, Y, Z 축의 Resultant값을 추출하여 학습 모델의 Label로 구성하였다.
모델 성능의 정량적 평가를 위해 회귀 예측 값과 실제 실험값의 차이를 RMSE로 계산하였다. 이때 평균 RMSE값은 21.6이 나왔으며, 최소 RMSE 값은 9.69가, 최대는 37.15임을 확인할 수 있었다. 또한 예측 시간의 경우 기존 해석방법에서는 많은 시간이 소요되나, 본 연구에서 제안한 방법을 이용하면 한 차종에 예측 소요 시간이 10분 내외로 예측 되는 것을 확인 할 수 있었다.
실험 포인트별 RMSE의 편차가 큰 것에 대해 전체 데이터 수가 충분하지 않고, 실험 데이터상의 비정상데이터를 제외하고 학습시켜 실제 학습 데이터의 양이 부족하였으며, 비슷한 학습데이터에 상이한 Label값이 학습과정에서 이용되는 것을 확인할 수 있었다.
본 연구결과인 기계학습 기반의 다층 신경망모델의 추가적인 성능 향상 시, 설계단계의 차량 도면을 입력하여 선행단계에서 실제 시험 이전 차량의 안전성 평가에 활용 가능성을 확인하였다.
이에 향후 연구에서는 실제 실험데이터의 검증 및 데이터베이스 재구축과 다양한 학습데이터 전처리 방법을 이용하고, 이미지 처리에 특화된 합성곱 신경망(CNN)를 이용한 머리상해지수(HIC)예측, 그리고 머리상해지수에 따른 NCAP 안전도 등급 분류 등의 추가 연구를 수행할 것이다. 이를 통해 인공지능 기법을 활용하여 차량 선행개발단계에서 공수절감 및 객관화되고 신뢰성 있는 예측 모델을 개발할 것이다.
Subscripts
| HIC : | head injury criterion |
| NCAP : | new car assessment program |
| ADAS : | advanced driving assistance system |
| LKA : | lane keeping assistant |
| AEB : | auto emergency braking |
| BSD : | blind spot detection |
| MLP : | multi-layer perceptron |
| FWRB : | full width rigid barrier |
| ODB : | offset-deformable barrier |
| SMB : | side mobile barrier |
| SP : | side pole |
| HI : | head impact |
| ULI : | upper leg impact |
| LLI : | lower leg impact |
| ESC : | electronic stability control |
| ISA : | intelligent speed assist |
| ReLU : | rectified linear unit |
| RMSE : | root mean squared error |
| ADAM : | adaptive moment estimation |
| CNN : | convolutional neural network |
Acknowledgments
본 연구는 순천향대학교와 현대자동차의 지원에 의해 수행되었습니다.
References
- KoROAD, Traffic Accident Analysis System, http://taas.koroad.or.kr/sta/acs/exs/typical.do?menuId=WEB_KMP_OVT_UAS_ASA, , 2019.
- I. S. Choi and S. W. Cho, “Active Safety Area of KNCAP,” Auto Journal, KSAE, Vol.36, No.2, pp.26-31, 2014.
- KNCAP, Korea Transportation Safety Authority, http://www.kncap.org/, , 2019.
- P. S. Heo, “A Study on the Automotive ADAS Market Diffusion Factors,” KICS Annual Conference Proceedings, pp.942-945, 2009.
-
Y. W. Yun, G. J. Park and T. K Kim, “Effectiveness of Active Hood and Pedestrian Protection Airbag Based on Real Vehicle impact Test,” Transactions of KSAE, Vol.22, No.1, pp.36-45, 2014.
[https://doi.org/10.7467/KSAE.2014.22.1.036]
- J. W. Lee, K. H. Yoon, Y. S. Kang, K. T. Park and G. J. Park, “Hood and Bumper Structure Design Methodology for Pedestrian Regulation,” Transactions of KSAE, Vol.13, No.3, pp.162-170, 2005.
- Y. H. Han, T. H. Lee, N. S. Chung, S. K. Hong and H. S. Min, “A Study on the Corresponding Principle and Structural Improvement for Head form Impact,” KSAE Spring Conference Proceedings, p.871, 2014.
- J. O. Kim, J. H. Kim, C. G. Lee and Y. S. Kim, “A Study of Hood Topology Optimization for Head Injury Reduction,” KSAE Spring Conference Proceedings, pp.738-740, 2015.
- B. I. Ko, “A Study of Design Issues Regarding Pedestrian Protection,” KSAE Fall Conference Proceedings, pp.431-432, 2016.
- S. H. Ji, D. K. Lee, J. S. Park and Y. S. Kim, “A Study of Pedestrian Injury Base on Material Characteristics of Vehicle Bonnet Damper,” KSAE Annual Conference Proceedings, pp.914-918, 2014.
-
D. E. Rumelhart, G. E Hinton and R. J. Williams, “Learning Internal Representations by Error Propagation,” Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Vol.1, pp.318-362, 1986.
[https://doi.org/10.21236/ADA164453]
- V. Nair and G. E. Hinton, “Rectified Linear Units Improve Restricted Boltzmann Machines,” Proceedings of the 27th International Conference on Machine Learning(ICML-10), pp.807-814, 2010.
-
J. Hutchinson, M. J. Kaiser and H. M. Lankarani, “The Head Injury Criterion (HIC) Functional,” Applied Mathematics and Computation, Vol.96, No.1, pp.1-16, 1998.
[https://doi.org/10.1016/S0096-3003(97)10106-0]
- D. P. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” arXiv preprint arXiv:1412.6980, , 2014.
- I. Sutskever, J. Martens, G. Dahl and G. Hinton, “On the Importance of Initialization and Momentum in Deep Learning,” International Conference on Machine Learning, pp.1139-1147, 2013.
- T. Tieleman and G. Hinton, “Lecture 6.5-rmsprop: Divide the Gradient by a Running Average of Its Recent Magnitude,” COURSERA: Neural Networks for Machine Learning, Vol.4, No.2, pp.26-31, 2012.