The Korean Society Of Automotive Engineers
[ Article ]
Transactions of the Korean Society of Automotive Engineers - Vol. 28, No. 1, pp.27-34
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Jan 2020
Received 05 Aug 2019 Revised 05 Nov 2019 Accepted 06 Nov 2019
DOI: https://doi.org/10.7467/KSAE.2020.28.1.027

기계학습과 초음파를 이용한 전방 노면 종류 추정

김민현1) ; 박종찬2) ; 최동걸3) ; 최세범*, 1)
1)한국과학기술원 차량제어연구실
2)루닛 연구개발팀
3)한밭대학교 정보통신공학과
Estimation of Frontal Road Type Using Machine Learning and Ultrasonic Waves
Min-Hyun Kim1) ; Jongchan Park2) ; Dong-Geol Choi3) ; Seibum Choi*, 1)
1)Automotive Control Laboratory, Korea Advanced Institute of Science and Technology, Daejeon 34141, Korea
2)Research and Development Team, Lunit Inc., 175 Yeoksam-ro, Gangnam-gu, Seoul 06247, Korea
3)Department of Information and Communication Engineering, Hanbat National University, Daejeon 34158, Korea

Correspondence to: *E-mail: sbchoi@kaist.ac.kr

Copyright Ⓒ 2020 KSAE / 170-04
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.

Abstract

The amount of acceleration and deceleration can be optimized when a vehicle can predict the types of road surfaces in advance. Myriads of methods for predicting road surfaces have been proposed, but they required costly equipment or had poor prediction performance. This paper suggests a different method for predicting road surfaces by recognizing that each material has its unique acoustic impedance. By transmitting ultrasonic waves into road surfaces that a vehicle intends to analyze, the reflected ultrasonic signals from the surface can be classified by a model developed from machine-learning. To measure the effectiveness of the method in a real-world situation, several types of specimens were created, and different sets of data were acquired from each test. Furthermore, the data were obtained from different road surfaces to verify the effectiveness of the method in the real world.

Keywords:

Machine learning, Road type estimation, Friction coefficient, Acoustic impedance, Ultrasonic sensor, Preview sensor

키워드:

기계학습, 노면 종류 추정, 마찰 계수, 음향 임피던스, 초음파 센서, 예견 센서

1. 서 론

땅 위를 움직이는 지상이동체는 노면의 마찰계수가 가속이나 감속의 최대치를 결정하는 주요 인자이다. 즉, 노면 마찰계수는 종횡방향 운동에서 얼마나 가감속을 할 수 있는지를 결정하기 때문에 지상이동체의 안정성 제어 측면과 최대 운동 성능 제어 측면 모두에서 중요한 정보라 할 수 있다.1,2)

차량에서도 타이어와 노면간의 최대 마찰계수를 미리 알 수 있다면 차량이 최대로 낼 수 있는 종횡력을 미리 정할 수 있다. 따라서 타이어가 잠기는 것을 방지하며, 조향 불가로 인해 일어나는 사고를 예방하거나, 차량의 최대 운동 성능을 끌어낼 수 있다.

타이어와 노면간의 마찰계수의 추정을 위해 차량의 동적 정보를 이용하는 방법1,3,4)과 시각적 정보를 이용하는 방법5-7)이 주로 사용되어 왔다. 먼저 차량의 동적 정보를 이용하는 방법은 차량에 장착된 휠속도 센서, 가속도 센서, 각속도 변화율 센서 등의 정보로부터 차량 동역학 모델에 대입하여 노면의 마찰계수를 추정한다. 다소 저렴한 센서를 사용할 수 있지만, 정해진 차량 모델을 사용하기 때문에 모델링 된 상태를 벗어날 시 추정치가 정확 할 수 없는 한계가 있다. 또한, 마찰계수를 미리 알 수 없고 타이어가 해당 노면을 지나고 나서야 알 수 있어서 미끄러운 노면에 미리 대응을 할 수 없다.

반면, 시각적 정보를 이용하는 방법은 카메라5-7)나 레이저18) 등을 사용하여 차량 외부의 노면 마찰계수를 추정하는 방법이 있다. 이 방법들은 각 노면의 종류마다 시각적인 특성이 다름을 이용한다. 또한 타이어 마찰 모델에 관한 연구14)에 의해 제안된 바와 같이, 노면의 종류가 선택 될 때 마찰 계수가 결정된다는 점을 이용하여 차량 제어에 사용한다. 멀리 떨어진 노면의 종류를 미리 알 수 있다는 장점이 있으나 값비싼 카메라와 정보처리장치가 필수적으로 사용되며, 센서 장착 위치나 방향에 따라 노면의 위치를 보정해줘야 하는 한계가 있다.

따라서 본 연구에서는 물질마다 고유한 음향 임피던스를 갖는다는 점19)을 이용하여 노면의 종류를 구분하고자 한다. 저가의 센서로 타이어가 특정 노면을 지나가기 전 노면의 종류를 미리 알기위해 초음파 송수신기를 사용한다. 즉, 이전 연구8,9,20)Photo. 1과 같이 초음파 송수신 센서를 장착하여 알고 싶은 노면에 초음파를 능동적으로 송신하고, 그 노면에 반사된 초음파 신호를 스펙트로그램으로 변환시켜 주파수 정보를 얻는다. 또한, 스펙트로그램으로부터 노면의 종류를 분류하는 모델을 만들고 사용하기 위하여 심층 합성곱 신경망 알고리즘을 이용하도록 한다.

Photo. 1

Ultrasonic transmitter and receiver are installed in front of frontal tires with the ground facing

제안하는 방법의 실현 가능성을 확인하기 위해 하나의 재질로 구성된 시편을 정해진 다양한 크기와 구분할 재질별로 제작하고, 그 재질이 실제로 구분되는지 확인한다. 또한 실제 야외 환경의 노면에서도 그 효과와 성능을 확인하기 위해 다양한 노면에 대해 초음파 반사 신호를 얻고 노면 종류 식별 성능을 확인하도록 한다.

본 논문은 2장에서 노면의 종류를 구분하기 위한 하드웨어 구성에 대해서 설명하고, 3장에서 제안하는 방법과 실현가능성을 확인하는 실험에 대해 기술한다. 또한 4장은 실제 실외 환경에서 제안하는 방법을 검증하고, 5장에서는 제안한 재질과 노면 구분 방법에 대해 결론을 맺는다.


2. 알고리즘 및 하드웨어 구성

이 장에서는 위에서 설명한 방식으로 물리적인 접촉 없이 노면 유형을 구분하기 위한 실험 환경 및 노면 분류 알고리즘에 대해 설명한다.

2.1 알고리즘 구성

음향 임피던스의 차이로 각종 물질을 구분하기 위해서는 물질마다 고유한 임피던스 특성을 구분할 수 있는 모델이 필요하다. 이 모델을 만들기 위해 수학적으로 풀기 위해서는 일정한 조건을 가정하여 정리해야하지만 물질마다 거칠기가 다르고 주파수별로 임피던스가 달라져서 모델링 노력에 비해 그 효과가 작고 오차가 매우 커질 수 있다. 이러한 문제를 해결하기 위해 본 연구에서는 데이터를 기반으로 하여 모델을 만들 수 있는 기계학습을 이용하고자 한다.

널리 알려진 분류 기반의 기계 학습 알고리즘은 SVM(Support Vector Machine)10,13)이다. SVM은 여러 상황에 대해 강인함과 빠른 수렴을 특징으로 다양한 분야에서 사용되어왔다. 그러나 SVM은 잘 설계된 특징점 추출기가 필요하며 많은 전문 지식과 매개변수 조율을 위한 노력이 필요하다. 반면에, 심층 신경망15,16)에서는 특징점 추출기와 분류기를 공동으로 학습하고, 인간의 수동적인 조율을 크게 요구하지 않는다. 따라서 본 연구에서는 널리 사용되는 데이터 기반 기계학습 방법인 심층 합성곱 신경망을 함수 근사화기로 사용한다.

함수 근사화기로 심층 합성곱 신경망을 사용하려면 먼저 입력할 데이터 유형을 정해야하고, 적합한 망 구조를 선정해야한다. 이전의 접근법11,17)에 따라서, 우리는 수신된 초음파 신호에서 국소 푸리에 변환(Short-Time Fourier Transform, 이하 STFT)으로 추출된 스펙트로그램을 입력으로 사용하고, 주파수 영역 분석을 통해 재질 종류에 대한 단서를 얻는다.

본 연구에서는 2차원으로 된 스펙트로그램이 입력으로 사용되지만, 시간 차원이 좁으므로 여러 개의 1차원 합성곱 신경망(Convolutional neural network, 이하 CNN)을 특징점 추출기로 사용한다. 그리고 최종 분류기로는 MLP(Multi Layer Perceptron)를 사용하여 추출된 특징점으로부터 주파수별로 처리를 통해 노면의 종류를 얻을 수 있도록 한다.

특징점 추출기는 Fig. 1처럼 4단계의 1차원 합성곱 층으로 구성되며 각 필터의 크기는 (201,5), (51,1), (51,1), (51,1)이며 중간 채널은 64로 고정한다. 각 합성곱 층은 필터 길이의 절반만큼의 패딩(Padding)을 갖는다. 모든 합성곱 층 뒤에는 배치 정규화(Batch normalization) 및 LeakyReLU 비선형 층이 추가된다. 각 합성곱 층은 아래 식으로 나타낼 수 있다.

Fig. 1

The network architecture for material classification

Fl+1=LeakyReLUBNb+k=0Cin-1wk*Flk(1) 

식 (1)에서 FlFl+1 은 각각 합성곱 전후의 특징점을 나타내며 wb는 합성곱 층에서 학습되는 가중치와 편차값을 나타낸다.

분류기는 3개의 층을 가진 다중 퍼셉트론(Multi-layer perceptron)으로, 중간 채널 개수는 512,256개이며, 최종 출력은 클래스 개수로 설정한다. 다중 퍼셉트론의 각 층에는 LeakyReLU 비선형 층이 추가된다. 각 층은 아래 식으로 나타낼 수 있다.

Fl+1=LeakyReLUW*Fl+B(2) 

식 (2)에서 WB는 각 층에서 학습되는 가중치를 의미한다. 다중 퍼셉트론의 마지막 층은 LeakyReLU 비선형 층이 없다. 특징점 추출기의 출력은 보통 2차원으로 구성되어있으나, 다중 퍼셉트론의 입출력은 일반적으로 1차원구조를 갖는다. 따라서 본 연구에서는 2차원의 특징점 추출기의 출력을 1차원으로 연결하여 분류기의 입력으로 사용되도록 한다.

학습 손실 함수는 분류 학습에 널리 쓰이는 교차 엔트로피(Cross entropy)를 사용한다. 최적화는 학습도 0.0001의 Adam 최적화기(Optimizer)를 사용한다. 정규화를 위해 분류기의 각 층에는 손실층(Dropout)을 쓰며 학습 시 30 %의 값들이 0으로 손실되게 설정되도록 한다.

2.2 하드웨어 구성

위에서 설명한 방식으로 물질 간의 음향 임피던스 차이를 검출하기 위해, 초음파를 능동적으로 방사 할 수 있는 초음파 송신기와 특정 대상에 반사된 초음파를 수신할 수 있는 초음파 수신기가 필요하다. 이 역할을 위해 최대 가청 주파수의 2배정도인 40 kHz 대역의 초음파 송신기와 수신기를 각각 사용함으로, 원하는 시점에 초음파를 송신하고 독립적으로 초음파 신호를 전기적으로 받을 수 있도록 수신기를 사용한다.

초음파 수신기에서 출력되는 전기적 아날로그 신호는 디지털 데이터로 변환되어야 신호처리가 가능하다. 초음파 센서에서 사용하는 주파수의 20배 이상을 샘플링하여 원래의 초음파 신호와 최대한 유사한 신호를 얻도록 한다. 즉, 모듈 컨트롤러(NI cRIO-9036)와 ADC(Analog to Digital Converter) 모듈(NI 9223)을 사용하여 초당 백만 개의 아날로그 신호를 디지털로 변환시킨다.

최종적으로 수집된 데이터를 병렬로 신호처리하기 위해 GPU(Graphics Processing Unit)를 적용하여 재질을 구분한다. 즉, 초음파 신호를 재질로 변환시켜 주는 모델을 GPU에 심층 합성곱 신경망을 처리되도록 하여 빠른 시간 내에 결과를 얻을 수 있도록 한다.


3. 실내 타당성 실험 및 결과

3.1 시료 구성 및 데이터 집합

위에서 언급한 방법으로 물체의 재질을 구분 할 수 있는지 제한된 조건에서 실내 실험을 진행한다. 특정 시편에 대한 초음파 반사 신호를 얻음과 동시에 주변의 다른 물체들의 영향을 최소화시키기 위해 Fig. 2처럼 박스 내부에 시편을 둘 곳과 초음파 송수신기를 장착한다. 또한 이 실험을 위해 한 재질로 구성된 알루미늄, 스테인리스 스틸, 투명 PVC, 회색 PVC를 구분의 대상이 되는 재질로 사용한다. 이 재질들을 폭 80, 100, 120, 140 mm, 길이 100, 200, 300 mm의 총 12개의 조합으로 Photo. 2와 같이 각각 제작한다. 여기서 두께는 3 mm로 고정한다.

Fig. 2

The box made indoor material classification (a) is a view outside the box, and (b) is an inside view of the box from the side

Photo. 2

Bundles of aluminum, stainless steel, transparent PVC and gray PVC in various sizes

먼저, 초음파를 1회 송신한 직후 20 ms동안 수신된 초음파 신호를 하나의 데이터 집합으로 정한다. 데이터 집합을 만들기 위해서, 한 개의 시편에 대해 시편의 자세를 바꾸어가며 초음파 반사파를 여러 번 얻는다. 이때 센서와 물체와의 거리는 일정하게 유지한다. 또한 심층 신경망의 데이터 중심 특성을 이용하고 학습되는 모델의 일반화를 위해, 시편의 자세를 바꿔가며 시편 당 3개 이상의 반사된 초음파 신호 집합을 수집한다.

수집된 신호들을 국소 푸리에 변환으로 스펙트로그램을 얻었고, 이 스펙트로그램을 심층 합성곱 신경망의 입력 데이터로 이용하였다. 국소 푸리에 변환에 필요한 매개변수인 창의 크기는 10,000으로 설정하였으며, 그 변환된 스펙트로그램의 크기는 행 20001, 열 21이다. 수집한 모든 데이터 집합을 70 %는 학습, 30 %는 테스트용으로 서로 중복되지 않게 랜덤으로 사용한다.

3.2 실내 테스트 결과

이 절에서는 2장에서 제안된 실험 환경과 매개변수를 사용하여, 1절에서 학습된 스펙트로그램을 특정 재질로 구분하는 모델을 테스트한 결과를 보여준다.

그 결과인 Table 1에 따르면, 한 쌍의 비접촉 초음파 송수신 센서와 1차원 깊은 합성곱 신경망을 사용하여 재료 분류가 가능하다는 것을 실험적으로 검증할 수 있다. 특히 알루미늄, 스테인리스 스틸, 투명 PVC의 경우 모든 데이터 집합에 대해 옳은 구분을 하였다.

Accuracy result of raw material classification

결론적으로, 두께가 같은 여러 모양의 판재에 대해서 음향 임피던스 차이를 이용한 재질 구분이 기계학습을 통한 모델링으로 가능하다는 것이 실험적으로 증명되었다.


4. 노면 구분 실험

능동적으로 방사되는 초음파의 반사파를 3장에서 검증된 방법으로 도로 표면의 종류를 구분하고자 한다. 즉, 물질마다 음향 임피던스가 다른 특성 곧, 다른 반사 스펙트럼을 갖는 사실로부터 노면의 종류를 구분하고자 한다. 따라서 도로 표면의 초음파를 능동적으로 송신한 후 노면에서 반사 된 초음파 신호를 분석하여 노면의 종류를 학습된 모델로부터 추정한다.

본 장에서는 2장에서 제안한 방법과 3장에서 검증된 방법을 이용하여 노면 유형을 추정하기 위한 실험 환경과 그 실험 결과를 설명한다.

4.1 노면 데이터 집합 수집

스펙트로그램으로부터 노면종류를 알 수 있는, 잘 학습된 모델은 여러 종류의 노면을 구별 할 수 있어야하므로, 다양한 노면 유형에 대해 데이터 집합을 수집해야한다. 따라서 본 연구에서는, 아스팔트, 시멘트, 흙, 대리석, 페인트, 눈, 물 및 얼음의 총 8개의 도로 표면에 대해서 반사된 초음파를 얻도록 한다.

데이터 기반의 학습 방법을 사용하는 만큼, 데이터의 다양성을 보장하기 위해 다음과 같은 노력이 이루어진다. 우선 도로 표면을 따라 센서를 이동하면서 데이터 세트를 수집한다. 또한, 데이터 집합은 초음파 송수신기와 노면 사이의 거리를 다양하게 하여 얻는다. 또한 동일한 종류의 노면 데이터 집합은 여러 날에 걸쳐서 수집되어 다양한 환경에 대한 초음파 반사파가 수신되도록 한다. Photo. 3은 여러 환경에서 신호를 수집하는 장면을 나타낸다.

Photo. 3

Sample scenes where data sets are obtained on various road types using the experimental equipment. Collecting database using sensor module on bicycle. Asphalt, snow, earth, and painted road surfaces are listed in order

모든 수집된 데이터는 위에서와 같이, 인위적인 데이터 증대 없이 국소 푸리에 변환으로 스펙트로그램을 얻는다. 이 스펙트로그램을 심층 합성곱 신경망의 입력 데이터로 이용하였고, 국소 푸리에 변환에 필요한 매개변수인 푸리에 변환 창의 크기는 10,000으로 설정한다. 이를 통해 얻어진 데이터 집합의 수는 총 4,600여개이며, 노면별로 Table 2와 같으며, 그 중 노면의 종류 별로 하나씩 원래의 아날로그 신호와 국소 푸리에 변환 결과인 스펙트로그램이 Fig. 3에 나타나있다. 수집 된 모든 데이터 집합을 70 %는 학습, 30 %는 테스트용으로 서로 중복되지 않게 랜덤으로 사용하도록 한다.

The number of samples for each road surface type

Fig. 3

Raw signals and transformed spectra of all road types in the spectrogram, the color represents the power of the corresponding frequency at the time. In other words the bright yellow means strong, the dark blue means weak signal

4.2 노면 구분 테스트 결과

이 절에서는 2장에서 제안된 실험 환경과 매개변수를 사용하고 3장에서 검증된 내용을, 1절에서 학습된 스펙트로그램을 특정 노면의 종류로 구분하는 모델을 테스트한 결과를 보여준다.

수집된 데이터 집합을 통한 기계학습 과정은 국소 푸리에 변환 시간을 제외하고 약 20 분 내에 수렴하며, 각 데이터 집합 별 추정은 단일 NVIDIA GeForce GTX 1080 Ti GPU에서 샘플 당 1 ms가 소요된다. 그리고 그 결과는 오차 행렬인 Table 3과 같으며, 이 표에서 각 행은 참값인 분류를 나타내며 각 열은 추정 된 분류를 나타낸다.

Accuracy result of raw material classification

그 결과에 따르면, 평균 정확도는 95.7 %로 한 쌍의 비접촉 초음파 송수신 센서와 1차원의 깊은 합성곱 신경망을 사용하여 노면의 종류를 분류할 수 있다는 것을 실험적으로 검증할 수 있다. 특히 아스팔트, 시멘트, 대리석, 얼음 노면에 대해서는 오차 없이 구분을 할 수 있었다. 반면에 눈길에 대해서는 과반수의 데이터 집합에 대해 아스팔트로 잘못 분류되었다.

이전 연구12)와 비교하면, 정확도가 1.8~2.5 % 향상되었음을 확인할 수 있다. 특히 아스팔트의 경우 성능은 13.6 % 높다. 또한 응답 시간의 우월성을 보여준다. 이전 연구에서 도로 표면이 변경되었다는 것을 인식하는 데 최소 0.2 초에서 최대 24 초가 걸렸지만 본 연구에서 제안 된 알고리즘은 수십 밀리초 내에 도로 표면의 변화를 완전히 인식 할 수 있다.

투명한 얼음의 특성은 시각적인 센서로 포착하기가 거의 불가능하지만, 초음파 신호를 이용한 접근은 얼음뿐만 아니라 다른 노면 유형을 성공적으로 구별 할 수 있다는 점은 주목할 가치가 있다.


5. 결 론

도로 표면의 유형을 식별하는 것은 지나갈 노면의 마찰계수를 정해주므로 지상을 다니는 차량이나 로봇의 이동에 중요한 요소이다. 본 연구는 모든 물체가 고유한 음향 임피던스를 가진다는 사실과 저렴한 초음파 센서를 사용하여 특정 물체에 반사된 초음파 신호의 주파수 영역에서 해당 물체의 종류를 갖고 있다고 가정한다. 이를 통해 특정 물체의 종류를 알기 위한 방법이 제안되었다. 즉, 초음파 송신기와 수신기를 이용하여 기계학습을 통한 노면의 종류를 추정하는 새로운 방법이 소개되었다.

이 방법의 효과를 검증하기 위해 실내 실험과 실외 실험이 진행되었고, 특정 물질에 반사 된 초음파의 주파수 성분을 분석함으로써 그 물질의 종류가 추정 될 수 있음을 보였다. 즉, 다양한 물질로부터 얻은 반사 초음파 데이터 수집 및 국소 푸리에 변환을 통해 스펙트로그램으로부터 재질의 종류를 알 수 있는 고성능 깊은 합성곱 신경망 모델을 성공적으로 학습했다. 결론적으로 조작하기 쉽고 저렴한 초음파 센서로 기계 학습된 모델을 사용하여 물질을 음향 임피던스를 통해 구분할 수 있음을 보였다.

이를 통해, Photo. 1과 같이 차량의 앞 범퍼나 로봇의 전방에 센서 모듈을 부착함으로써 지나갈 노면의 종류에 따라 적절한 동작 제어를 미리 할 수 있다. 또한, 이 방법은 장착될 차량이나 로봇의 특성과 독립적으로 사용 될 수 있어서 과거의 동적 정보를 이용한 방법과 다르게 수많은 매개변수 조율로부터 자유롭다. 뿐만 아니라, 20 ms마다 주변 환경으로부터 반사된 초음파를 분석하므로 20 ms마다 노면의 종류를 추정할 수 있다.

노면 종류를 학습하기 위한 모델을 만들기 위해 데이터 집합을 모을 때 같은 노면의 종류더라도 다양한 환경에서 데이터를 수집했고 이를 검증했기 때문에, 본 연구에서 학습된 모델은 환경에 강인하다고 할 수 있다. 또한 겨울철 문제가 되는 검은 얼음과 같이 시각적으로 인지할 수 없는 노면도 인식을 할 수 있으므로 미리 알림을 주거나 움직임 제어에 반영할 수 있다.

그러나 본 연구의 한계는 국소 푸리에 변환에 일정 시간이 걸리므로, 반사된 초음파가 수신기로 들어오고 일정시간 뒤에 노면의 종류를 알 수 있다는 것이다. 또한 눈으로 덮인 도로의 예측 성능은 다른 종류의 도로 표면보다 낮게 나타나므로 보완이 필요하다. 실시간성과 눈 덮인 노면에서의 추정 성능을 향상시키기 위해 향후 연구가 추가적으로 진행될 예정이다.

Nomenclature

Fl : feature of l-th layer
b : bias of convolutional layer
w : weight of convolutional layer
Cin : number of input channel
B : bias of classifier layer
W : weight of classifier layer

Acknowledgments

이 논문은 2019년도 정부(교육과학기술부)의 재원으로 한국연구재단의 지원(No. 2017R1A2B4004116)을 받고, 국방과학연구소의 다중센서를 활용한 딥러닝 기반의 노면인식기술연구(UD180045RD) 사업의 지원을 받아 수행된 연구임.

References

  • X. Li, D. Izawa, M. Minami, T. Matsuno and A. Yanou, “Dynamical Model of Humanoid Considering Slipping with Nonlinear Floor Friction and Internal Force during Free-fall Motion,” 2016 IEEE/SICE International Symposium on System Integration (SII), pp.69-74. 2016.
  • B. N. Persson, Sliding Friction: Physical Principles and Applications, Springer Science & Business Media, Berlin Heidelberg, 2013.
  • R. Rajamani, G. Phanomchoeng, D. Piyabongkarn and J. Y. Lew, “Al-gorithms for Real-time Estimation of Individual Wheel Tire-road Friction Coefficients,” IEEE/ASME Transactions on Mechatronics, Vol.17, No.6, pp.1183-1195, 2012. [https://doi.org/10.1109/TMECH.2011.2159240]
  • R. S. Dahiya, G. Metta, M. Valle and G. Sandini, “Tactile Sensing from Humans to Humanoids,” IEEE Transactions on Robotics, Vol.26, No.1, pp.1-20, 2010. [https://doi.org/10.1109/TRO.2009.2033627]
  • R. Omer and L. Fu, “An Automatic Image Recognition System for Winter Road Surface Condition Classification,” 13th International IEEE Conference on Intelligent Transportation Systems, pp.1375-1379. 2010. [https://doi.org/10.1109/ITSC.2010.5625290]
  • A. Raj, D. Krishna and K. Shantanu, “Vision Based Road Surface Detection for Automotive Systems,” 2012 International Conference on Applied Electronics, pp.223-228. 2012.
  • R. Elunai, V. Chandran and E. Gallagher, “Asphalt Concrete Surfaces Macrotexture Determination from Still Images,” IEEE Transactions on Intelligent Transportation Systems, Vol.12, No.3, pp.857-869, 2011. [https://doi.org/10.1109/TITS.2011.2116784]
  • M. Kim and S. Choi, “Road Surface Height Estimation for Preview System Using Ultrasonic Sensor Array,” FISITA World Automotive Congress, F2016-VDCF-003, 2016. [https://doi.org/10.1109/ICNSC.2016.7479004]
  • A. Carullo and M. Parvis, “An Ultrasonic Sensor for Distance Measurement in Automotive Applications,” IEEE Sensors Journal, Vol.1, No.2, pp.143-147, 2001. [https://doi.org/10.1109/JSEN.2001.936931]
  • K. Rim, J. Shinn, C. Kang and C. Chung, “Vehicle Behavior Prediction in Intersection with Support Vector Machine” KSAE Fall Conference Proceedings, pp.838-843, 2017.
  • J. Park, Attention Modules for Feed-Forward Neural Networks, M. S. Thesis, Korea Advanced Institute of Science and Technology, Daejeon, 2018.
  • J. Alonso, J. Lopez, I. Pavo´n, M. Recuero, C. Asensio, G. Arcas and A. Bravo, “On-board Wet Road Surface Identification Using Tyre/road Noise and Support Vector Machines,” Applied Acoustics, Vol.76, pp.407-415, 2014. [https://doi.org/10.1016/j.apacoust.2013.09.011]
  • J. S. Chiou and M. T. Liu, “Using Fuzzy Logic Controller and Evolutionary Genetic Algorithm for Automotive Active Suspension System,” Int. J. Automotive Technology, Vol.10, No.6, pp.703-710, 2009. [https://doi.org/10.1007/s12239-009-0083-4]
  • M. Burkhardt, Radschlupf-regelsysteme, Vogel Buchverlag, Würzburg, 1993.
  • Y. LeCun, Y. Bengio and G. Hinton, “Deep Learning,” Nature, Vol.521, No.7553, pp.436-444, 2015. [https://doi.org/10.1038/nature14539]
  • A. Krizhevsky, I. Sutskever and G. E. Hinton, “Imagenet Classification with Deep Convolutional Neural Networks,” Advances in Neural Information Processing Systems, pp.1097-1105, 2012.
  • R. Arandjelovic and A. Zisserman, “Look, Listen and Learn,” The IEEE International Conference on Computer Vision (ICCV), pp.609-617, 2017. [https://doi.org/10.1109/ICCV.2017.73]
  • M. Aki, T. Rojanaarpa, K. Nakano, Y. Suda, N. Takasuka, T. Isogai and T. Kawai, “Road Surface Recognition Using Laser Radar for Automatic Platooning,” IEEE Transactions on Intelligent Transportation Systems, Vol.17, No.10, pp.2800-2810, 2016. [https://doi.org/10.1109/TITS.2016.2528892]
  • Wikipedia, Acoustic Impedance, https://en.wikipedia.org/wiki/Acoustic_impedance, , 2019.
  • M. Kim and S. Choi, “Ultrasonic Sensor Module for Suspension Prediction Control,” Transactions of KSAE, Vol.25, No.6, pp.675-682, 2017. [https://doi.org/10.7467/KSAE.2017.25.6.675]

Photo. 1

Photo. 1
Ultrasonic transmitter and receiver are installed in front of frontal tires with the ground facing

Fig. 1

Fig. 1
The network architecture for material classification

Fig. 2

Fig. 2
The box made indoor material classification (a) is a view outside the box, and (b) is an inside view of the box from the side

Photo. 2

Photo. 2
Bundles of aluminum, stainless steel, transparent PVC and gray PVC in various sizes

Photo. 3

Photo. 3
Sample scenes where data sets are obtained on various road types using the experimental equipment. Collecting database using sensor module on bicycle. Asphalt, snow, earth, and painted road surfaces are listed in order

Fig. 3

Fig. 3
Raw signals and transformed spectra of all road types in the spectrogram, the color represents the power of the corresponding frequency at the time. In other words the bright yellow means strong, the dark blue means weak signal

Table 1

Accuracy result of raw material classification

Material type Accuracy (%)
Aluminum 100
Stainless steel 100
Transparent PVC 100
Gray PVC 96
Average 99

Table 2

The number of samples for each road surface type

Road surface type Train set Test set
Asphalt 788 339
Cement 440 189
Dirt 633 272
Marble 211 135
Paint 215 91
Snow 207 93
Water 431 185
Ice 315 90

Table 3

Accuracy result of raw material classification

Road types Asphalt Cement Dirt Marble Paint Snow Water Ice Accuracy (%)
Asphalt 339 100
Cement 189 100
Dirt 2 270 99.26
Marble 135 100
Paint 2 89 100
Snow 50 43 46.24
Water 2 185 97.96
Ice 90 100
Avg. 95.72