기계학습 기반 객체 분류를 통한 특징 지도 작성

1. 서 론

현재 대한민국은 4차 혁명을 목표로 많은 기술이 개발되고 있다. 특히 자율주행 자동차와 드론과 같은 무인 이동체 기술이 주목 받고 있다. 무인 이동체의 기술에서 위치 인식은 중요한 기술 중 하나이다. 무인 이동체가 출발지에서부터 목적지까지 이동하면서 자신의 위치를 알아야 하기 때문이다.

이전 연구부터 사용되고 있던 기존 GNSS를 이용한 위치 인식은 건물 내부나 터널과 같은 음영지역과 전파 노이즈와 같은 외부 간섭에 민감하다는 단점이 있다.¹⁾ 이러한 단점들을 보완하고자 무인 이동체에 장착된 카메라, LiDAR와 같은 인지 센서들을 이용한 위치 인식 기술들이 개발되고 있다. 인지 센서를 이용한 위치 추정 방법은 무인 이동체에 부착한 LiDAR와 카메라에서 측정되는 센서 측정치의 변화량을 통해 무인 이동체의 6자유도 변화량을 계산하는 방법이다. 인지 센서를 이용한 위치 인식 기술은 지도를 사용하는 방법과 사용하지 않는 방법으로 나눌 수 있다.

무인 이동체에서 지도는 지도의 정확도와 지도가 구성에 따라 시스템의 성능이 달라지며, 무인 이동체의 경로생성이나 판단에 사용된다. 이처럼 무인 이동체의 기술 발달에 따라 지도로부터 많은 정보가 필요하다. 따라서 최근 기존의 내비게이션 지도가 아닌 많은 정보와 정확도가 높은 정밀지도에 대한 연구가 진행되고 있다.

정밀지도는 앞서 설명한 무인 이동체의 위치 인식 기술 즉 측위 기술 문제의 해결 대안으로 관심을 받고 있다. 정밀지도는 도로와 주변 지형의 정보를 높은 정확도로 구축한 3차원 지도이며, 기존 수치형 지도 보다 10배 이상 정확하며, 20 cm 이내의 정밀도를 보유하고 있다. 도로 내의 차선, 중앙분리대, 교통표지판 등 고정물의 위치와 형태를 포함한다.

무인 이동체의 기술 개발에 따라 국내외 업체들이 정밀지도에 투자하고 있다. 해외의 경우 아우디, BMW, 다임러 자동차 제조사가 노키아 지도 사업부 HERE를 인수하였다. HERE의 경우 차선, 연석, 표지판 등의 도로 정보를 지도로 구축을 목적으로 하고 있으며, 차량용 클라우드, 데이터 분석, 실시간 지도 업데이트에 관해 연구 중에 있다. 이외에도 TomTom, Google이 정밀지도를 연구 중이다. 국내에서는 국토지리정보원과 현대엠엔소프트가 연구를 진행 중이며, 국토지리정보원은 2015년부터 정밀도로지도 구축방안 연구를 수행 중이며, 차선, 도로시설, 표지시설 등 약 30여 종의 도로 정보를 구축하고 자동차 업체와 연구기관, 벤처기업 등에서 활용할 수 있도록 무료로 배포 중이다. 현대엠엔소프트의 경우 국내 최초로 MMS(Mobile Mapping System) 기반 정밀지도 구축 시스템을 도입했으며, 다양한 센서로 3차원 정밀지도를 구축하고 전국 2차선 이상 주요 도로에 대한 정밀지도를 구축하고 있다.²⁾

2. 관련 연구

Point Cloud로부터 정보를 취득하는 방법은 통계학적 방법과 이미지 처리에서 사용하던 연구를 사용했다. 하지만 최근 기계학습과 딥러닝을 이용한 방법들이 시도되고 있다.

Point Cloud로부터 도로 형상을 추출하기 위해서는 대부분 Hough transform, RANSAC(RANdom SAmple Consensus), Weighted least square linear와 같은 모델링을 통한 피팅 방법들이 사용되고 있다.³⁾ 피팅 방법은 데이터를 모델로 나타내며 데이터를 단순화 할 수 있다. 하지만 모델은 오버피팅 또는 언더피팅이 될 수 있고 다양한 환경에서의 적용에 힘들다는 단점이 있다.

도로 표식 추출 방법으로는 반사적 특징이 뚜렷하다는 점을 이용하여 GRF(Geo-Referenced Feature)를 사용하여 이미지를 세분화하고 반사강도를 정규화한 뒤 모양과 크기를 이용하여 도로 표식을 추출한다.⁴⁾ 대부분 강도 데이터에 전역 임계 값을 적용하기 때문에 노이즈에 따라 결과가 상이하게 다르다.

본 논문에서는 데이터들을 지역적으로 임계 값을 찾아 적용하는 방법으로 앞선 연구들의 단점들을 최소화하는 방법을 제시한다.

3. 특징 지도 작성 시스템

본 논문은 MMS 차량으로부터 측정된 데이터를 사용하였다. 데이터의 좌표계는 UTM-52 좌표계를 사용하였으며, UTM 좌표계는 지구를 경도 6°, 위도 8° 간격으로 횡축 메카토르 도법으로 60×20의 격자로 나눈 좌표계로 점들을 직사각형 모양으로 유지하므로 거리, 면적, 방향들을 나타내는 데 유리하다. 데이터는 Las 형식을 사용하였으며, Las는 ASPRS(American Society of Photogrammetry and Remote Sensing)에서 정의한 산업 표준 파일 형식이다. 연구의 목적은 지도 객체 정탐률을 높이고 오탐률을 줄이기 위한 보정 알고리즘 개발이며, 세부 목적으로 노이즈 제거와 특징 기반의 지도를 작성하는 것을 목표로 하였다. 논문에서는 도로 위의 이동물체와 도로 시설 이외의 물체들을 노이즈라 표현한다. 지도로부터 필요 데이터만을 얻기 위해 MMS 차량의 주행 경로를 사용하여 관심 영역을 설정하였으며, 객체를 분류하기 위해 기계학습 종류 중 SVM(Support Vector Machine)을 이용하였다. 객체 분류를 위해 객체의 특징을 정의하였다.

Fig. 1

System diagram

3.1 관심 영역 추출

우선 측정된 전 구간의 데이터에서 필요 데이터를 추출하기 위해 관심영역을 설정하였다. 측정된 전 구간을 연산하게 되면 알고리즘의 연산 속도나 많은 메모리를 차지하게 되기 때문이다. 관심 영역을 설정함으로 데이터를 경량화 하였다.

관심 영역을 설정하기에 앞서 일차적으로 전체 구간을 MMS 차량 주행 거리에 따라 분할을 하였다. 차량의 주행 기록을 가지고 분할을 진행할 시 차량 속도와 센서의 측정 속도의 오차 및 외부환경 요인에 의해 데이터가 불규칙적으로 들어오게 되어 정확한 분할을 할 수 없다. 주행 데이터는 차량의 속도에 따라 데이터 간의 간격이 달라진다. 이러한 문제점을 해결하기 위해 Linear-Spline을 이용하여 주행 데이터의 부족한 부분을 보간하였다. 주행 데이터가 보간이 되었어도 주행 간격은 일정하지 않아 데이터를 일정하게 불러올 수 없기 때문에 주행 데이터를 등간격화 하였다. 주행 데이터의 보간과 등간격화를 통해 측정된 데이터의 오차를 최소화하였다. 보정된 주행 데이터를 이용하여 20 m 구간으로 데이터를 분할하였다. 20 m 단위로 분할 뒤 MMS 차량의 주행 방향의 직각으로 좌, 우로 9 m의 임계 값으로 관심 영역을 설정하였다.

Fig. 2

ROI

Fig. 3

Split data

3.2 객체 분할

실선, 점선, 중앙분리대, 가드레일과 같은 객체를 추출하기 위해 우선 객체들을 분할시켜야 한다.

군집화의 경우 밀도, 확률, 거리와 같은 관계성을 기준으로 이용하여 군집화를 실시한다. 지도를 작성하였을 때 지면과 객체가 붙어있는 경우가 발생하기 때문에 확실한 군집화를 위해 객체를 지면으로부터 분리했다. 객체 분할을 위해 지면 데이터를 제거하고자 하였다. 이와 같은 이유로 지면을 분리하려는 방법들이 제안되었다. 도로의 데이터가 일정한 형태라는 가정하에 RANSAC (Random Sample Consensus)을 통해 지면을 분리하는 모델링을 통한 방법과 지면의 높이 데이터를 측정해 제거하는 방법들이 있다.⁵⁾ 논문에서는 높이를 이용하여 지면으로부터 30 cm 이상의 데이터와 이하의 데이터로 나누어 임계 값을 적용하였다. 30 cm 이상의 데이터는 가드레일, 중앙분리대, 이동물체와 같은 물체를 추출하기 위함이며, 30 cm 이하의 데이터는 지면의 정보를 추출하기 위해서이다.

지면으로부터 30 cm 이상의 임계 값을 진행 방향으로 10등분을 통해 지역적으로 임계 값을 적용하였다. 20 m로 분할된 데이터 내에서도 각각의 데이터의 고도의 차가 크기 때문이다.

Fig. 4

Extraction object

Fig. 5

Extraction object result

Fig. 6

Extraction object result

높이를 이용한 임계 값은 관심 영역 내 도로 영역의 비율이 높다는 가정에 히스토그램을 이용하여 빈도수가 높은 높이를 임계 값으로 설정하였다. 이후 30 cm 이하의 데이터는 도로의 아스팔트의 반사 강도와 차선의 반사 강도가 다르다는 점을 이용하여 반사 강도를 임계 값으로 사용하였다.

임계 값을 설정하기 위해 차량의 진행 방향의 수직 방향으로 8등분으로 분할하였다. 거리에 따라 반사 강도가 감쇠되기 때문이다. 반사 강도를 이용한 임계 값은 분할된 지역의 평균을 이용해 설정하였다.

3.3 군집화

객체를 추출하기 위해 군집화를 하였다. 군집화는 데이터들의 관계성을 이용하여 같은 관계의 데이터를 군집화한다.

데이터의 군집은 거리, 밀도, 확률과 같은 관계성을 고려한다. 논문에서는 Euclidean Clustering, DBSCAN을 고려하였다. 두 군집화 알고리즘 모두 차량의 주행 속도와 센서의 측정 속도로 인해 점의 편차가 커짐으로 고정된 임계 값을 사용하여 군집화를 진행하였을 경우 구간에 따라 군집화의 오차가 발생하였다. Euclidean Clustering은 임계 값을 크게 설정하였을 경우 다른 객체가 한 객체로 군집화되는 문제점이 발생하며, 작게 하였을 경우 동일 객체가 다른 객체로 군집화되었다.

DBSCAN의 경우 탐색 범위와 밀도 두 가지의 임계 값이 존재한다.⁶⁾ 임계 값에 따라 데이터가 소실되는 문제점이 발생했다. 각각의 군집화 알고리즘은 임계 값에 따른 문제점이 발생한다. 두 알고리즘을 문제점을 해결하기 위해서는 적응형 임계 값을 가지는 군집화 알고리즘을 사용할 수 있다. 하지만 제안하는 시스템에서는 이러한 문제점을 DBSCAN과 Euclidean Clustering 기법을 함께 사용하여 문제를 해결하였다.

DBSCAN을 통해 일정 밀도 이하의 군집은 노이즈로 가정하였으며, 일정 밀도 이하의 노이즈를 제거 후 Euclidean Clustering을 통해 군집화함으로 필요 데이터의 손실을 줄이며 노이즈를 제거함으로써 정확도 높은 군집화를 하였다. Euclidean Clustering의 경우 포인트 클라우드 라이브러리(PCL)에서 구현할 수 있다.⁷⁾

Fig. 7

Clustering algorithm

Table 1

DBSCAN

Table 2

Euclidean clustering

3.4 분류알고리즘

관심 객체만을 추출하기 위해 분류를 하였다. 분류를 진행하기 이전 분류 객체와 객체의 특징을 정의하였다. 분류를 위해 SVM(Support Vector Machine) 방법을 이용하였다. SVM은 지도 학습 모델이며, 분류와 회귀 분석에 사용된다. 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 집합에 속할지를 판단하는 비확률적 이진 선형 분류 모델을 만든다. 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM은 그중 가장 큰 폭을 가진 경계 초평면(Hyper plane)을 찾는 알고리즘이다.⁸⁾

Fig. 8

Support vector machine

클래스를 구분하는 초평면은 여러 개가 존재하게 된다. 하지만 최대화된 초평면은 하나만 존재한다. 이러한 최적의 초평면은 식 (1)과 같이 정의할 수 있다. 여기서 $$ \underset{w}{\to }$$는 초평면의 법선벡터 $$ \underset{x}{\to }$$는 초평면 상의 한 점, b는 절편이다.

$\[ \left(\underset{w}{\to }\cdot \underset{x}{\to }\right)+b=w^{T}x=0 \]$

(1)

클래스가 두 개의 경우 식 (1)을 토대로 식 (2)와 같이 나타낼 수 있다.

$\[ \begin{array}{l}\mathrm{c}\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}1\left(\underset{w}{\to }\cdot \underset{x}{\to }\right)+b=w^{T}x\ge 1\\ \mathrm{c}\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}2\left(\underset{w}{\to }\cdot \underset{x}{\to }\right)+b=w^{T}x\ge -1\end{array} \]$

(2)

SVM은 식 (3)과 같이 두 클래스 사이의 거리를 최대화하기 위한 것으로 목적 함수를 식 (4)처럼 나타낼 수 있다.

$\[ \frac{\overrightarrow{w}}{‖w‖}\cdot \left({\underset{x}{\to }}_{class1}-{\underset{x}{\to }}_{class2}\right)=\frac{2}{‖\overrightarrow{w}‖} \]$

(3)

$\[ \mathrm{m}\mathrm{a}\mathrm{x}\frac{2}{‖w‖}\to \mathrm{m}\mathrm{i}\mathrm{n}\left(\frac{1}{2}{‖w‖}^2\right) \]$

(4)

하지만 비선형적인 데이터를 분류하기 위해. 커널 트릭을 이용하여 고차원 특징 공간으로 사상하여 최적의 결정 경계를 찾는 것을 돕는다. 본 논문에서는 다항식을 이용하는 Polynomial 커널을 이용하였다 Polynomial 커널은 식 (5)와 같다.

$\[ \mathrm{k}\left(x_i,x_j\right)={\left(x_i\cdot x_j+1\right)}^d \]$

(5)

객체의 종류는 총 6개의 종류로 구분된다. 크게 차선, 중앙분리대, 기타로 나누며, 세부 종류로 차선은 실선과 점선, 중앙분리대는 시멘트와 가드레일로 분류한다.

Fig. 9

Object class diagram

Fig. 10

Object class

논문에서는 객체 분류를 위한 학습기를 지도학습기인 SVM(Support Vector Machine)을 사용하였다. 효과적인 분류를 위해서는 객체들을 구분 지을 수 있는 특징추출이 필요하다. 특징은 총 31개가 사용되었으며 사용된 특정치는 Table 3에 정의되었다. 측정 센서의 특징으로 데이터는 순차적으로 들어온다. 순차적으로 들어온 데이터의 두 점 사이의 각도를 구할 수 있다. 두 점 사이의 각도를 3종류로 나누었다. 수평형 0° ~ 22°, 경사형 22° ~ 55°, 경사형 55°~ 90°으로 나누었다. 센서의 측정 위치에 따라 각도를 나누는 임계 값을 설정한다.⁹⁾ 동일 객체 내에서도 수평형, 경사형, 수직형, 반사 강도가 골고루 분포되어 측정되기 때문에 높이에 따라 3등분을 통해 객체를 분석할 수 있는 특징을 부여하였다.¹⁰⁾

Fig. 11

Angle of the point result

Table 3

Class definition

4. 실 험

본 논문의 실험 데이터는 영동고속도로 총 68.3 km 구간 데이터이다. 제시한 시스템을 검증하기 위해 강원도 영동고속도로의 새말 IC ~ 대관령 IC 구간의 데이터를 실험에 사용하였다.

Fig. 12

Classification result

제안한 객체 분류 알고리즘을 통해 작성된 특징 지도 결과를 Fig. 13,14에서 확인할 수 있다.

Fig. 13

Classification result

Fig. 14

Classification result

총 68.3 km 구간에서 4.7 km 구간을 확인하였을 때 Table 4와 같이 0.087로 지도가 경량화 되었다.

Table 4

Lightweight result

Table 5

Classification result

실선, 점선, 가드레일의 경우 0.9 이상의 높은 정답률을 보여주며 중앙분리대와 노이즈의 경우 0.7 이상의 정답률을 보여준다. 정답률의 경우 테스트 데이터에 따라 변화하기 때문에 테스트 데이터에 대해 교차검증을 실시하였으며, 데이터를 5등분하여 3회 검증을 실시하여 0.94의 정답률을 확인하였다.

5. 결 론

본 논문에서는 MMS 차량으로부터 측정된 점군 지도를 분류하여 노이즈를 제거한 뒤 관심 객체만을 지도화함으로 기존 불필요한 객체들을 지도화하는 방법보다 지도를 경량화하는 방법을 제안하였다. 관심 객체들을 추출하기 위해 관심 영역을 설정하였다. 관심 영역을 추출하기 위해 MMS 차량의 주행 경로를 이용하여 관심 영역을 추출하였다. 이후 관심 객체를 분리하기 위해 관심 영역 내부를 다시 세분화함으로써 지역적인 임계 값을 설정하므로, 관심 객체들을 분리하였다. 분리를 통해 얻은 데이터들을 군집화함으로써 관심 객체를 SVM을 통해 분류하였고 모델의 정확도가 0.94로 확인되므로 신뢰성 있는 객체 분류가 이루어졌다. 또한 분류된 객체 중 관심 객체만을 지도화함으로써 지도의 경량화를 이루었다. 분류 종류를 추가 함으로써 다양한 객체들을 분류하고 수작업으로 지도의 객체를 분류하던 기존의 방식에 도움을 줄 것으로 기대된다.

향후 더 높은 인식률을 위해 이용자가 지정하는 특징이 아닌 최근 연구되고 있는 빅데이터 기반의 특징 알고리즘인 딥러닝을 사용하거나 이종 센서와의 융합을 통한 특징 추출 연구가 필요할 것으로 보인다.

References

• K. T. Choi, J. K. Suhr and H. G. Jung, “Landmark Suitability Evaluation of Road Facilities in Highway for Monocular Camera-based Precise Vehicle Localization System,” Transactions of KSAE, Vol.27, No.4, pp.273-290, 2019. [https://doi.org/10.7467/KSAE.2019.27.4.273]
• S. M. Chae, “HD Map, A Guide of Autonomous Driving,” Auto Journal, KSAE, Vol.41, No.2, pp.40-43, 2019.
• D. Dolgov, S. Thrun, M. Montemerlo and J. Diebel, “Path Planning for Autonomous Vehicles in Unknown Semi-structured Environments,” The International Journal of Robotics Research, Vol.29, No.5, pp.485-501, 2010. [https://doi.org/10.1177/0278364909359210]
• H. Guan, J. Li, Y. Yu, M. Chapman and C. Wang, “Automated Road Information Extraction from Mobile Laser Scanning Data,” IEEE Transactions on Intelligent Transportation Systems, Vol.16, No.1, pp.194-205, 2014. [https://doi.org/10.1109/TITS.2014.2328589]
• D. Zermas, I. Izzat and N. Papanikolopoulos, “Fast Segmentation of 3d Point Clouds: A Paradigm on Lidar Data for Autonomous Vehicle Applications,” IEEE International Conference on Robotics and Automation(ICRA), pp.5067-5073, 2017. [https://doi.org/10.1109/ICRA.2017.7989591]
• M. Ester, H. Kriegel, J. Sander and X. Xu, “A Density-based Algorithm for Discovering Clusters in Large Spatial Databases with Noise,” Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, pp.226-231, 1996.
• PCL, Point Cloud Library, http://www.pointclouds.org, , 2018.
• C. C. Chang and C. J. Lin, “LIBSVM: A Library for Support Vector Machines,” ACM Transactions on Intelligent Systems and Technology(TIST), Vol.2, No.3, Article No.27, 2011. [https://doi.org/10.1145/1961189.1961199]
• O. Hadjiliadis and I. Stamos, “Sequential Classification in Point Clouds of Urban Scenes,” 5th International Symposium 3D Data Processing, Visualization and Transmission(3DPVT), 2010.
• S. -U. Ahn, Y. -G. Choe and M. -J. Chung, “Fast Scene Understanding in Urban Environments for an Autonomous Vehicle equipped with 2D Laser Scanners,” The Journal of Korea Robotics Society, Vol.7, No.2, pp.92-100, 2012. [https://doi.org/10.7746/jkros.2012.7.2.092]