Journal Archive

최근 자율주행 기술 개발을 지원하기 위해 공개된 데이터세트는 Table 1과 같다. 대표적인 데이터세트로는 Karshule Institute의 KITTI 데이터세트, Baidu사의 apolloScape 데이터세트, Waymo사의 Waymo Open 데이터세트, Aptiv의 nuScenes 데이터세트, Argo Ai사의 Argoverse 데이터세트가 있다. 데이터세트들의 목적은 자율주행에 필요한 인식 기술 알고리즘의 개발과 성능 평가 지원을 통해 자율주행 기술 발전을 장려하는 것이다. 각 데이터세트는 자율주행 기술 중에서도 가장 기본이 되는 주변 환경 검출(Detection) 분야를 공통적으로 지원하며, 데이터세트 목적에 따라 이미지 분할(Segmentation), 차량 측위(Localization), 이동 차량 추적(Tracking) 등을 지원한다. 또한, 인식된 결과를 온라인상에 공개함으로써 알고리즘 개발 활성화에 기여하고 있다.

각 데이터세트의 인식 기술 분야에서 주변 환경 검출에 대한 상세한 데이터 구성은 Table 3과 같다. 각 데이터세트들은 배포되는 데이터의 형태 및 용량, 물체 클래스 수, 학습(Training)/평가(Test) 데이터 비율이 다르다. 또한, 목적에 따라 추가적인 속성 정보(Attribute)를 제공하고 있다. 자율주행 인식 기술 데이터들은 카메라 영상과 라이다 데이터 등 같은 시점에 획득된 센서 데이터들이 한 프레임을 구성한다. 데이터세트들의 데이터 제공 방식으로는 임의의 한 프레임과 스트리밍(Streaming)으로 제공하는 방식으로 나뉜다. 임의의 프레임 제공 방식은 주변 환경 인식 기술 개발에 주로 활용되며, 실용적인 알고리즘 개발을 위해서는 다양한 환경의 프레임을 구성하는 것이 적합하다. 스트리밍으로 제공하는 방식은 차량과 보행자 등 물체를 추적하는 알고리즘 개발에 유용하다. 데이터 용량은 데이터를 저장하는 시간 간격, 이미지 데이터 저장 속도, 이미지 크기, 센서 개수 등의 요인에 의해서 달라진다. 획득된 센서 데이터들은 데이터세트의 목적에 따라서 다르게 가공된다. KITTI의 경우 영상 처리 기반의 데이터 활용을 위해 가공된 데이터이며, ApolloScape는 환경 인식을 위한 데이터, nuScenes는 환경 데이터, Waymo Open은 주변 환경 검출을 위한 데이터, Argoverse는 맵과 주변 차량과의 운행 분석을 위한 데이터로 구성되어 있다.

국내에서 자율주행 기술 개발을 위해 공개된 데이터는 Table 2와 같다. 네이버와 국토지리정보원은 자율주행을 위한 정밀 도로지도를 제공하며 차량의 측위를 지원한다. 한국과학기술원에서 구축한 데이터세트는 인식 기술을 지원하기 위한 데이터로 다중센서 데이터와 기준 정보를 제공한다. 또한, 주변 인식이 어려운 야간 환경에서의 컬러(RGB) 영상과 열화상 영상 및 융합한 데이터를 제공한다. 하지만 대부분의 데이터가 학교 교내에서만 수집되었다는 한계점이 있다. 본 연구에서는 국내 다양한 도로 환경을 반영한 KODAS 데이터세트를 구축하였다. KODAS 데이터는 국내 도로 환경에 대한 데이터로 자체적으로 개발한 데이터 획득 시스템을 이용하여 취득한 위험 상황(Critical situation) 데이터, 이동체 데이터, 고정 환경 데이터로 구성되어 있다.

2.2.1 KODAS 데이터 획득 시스템

본 연구에서는 자율주행 인식 기술용 데이터 획득을 위한 기준 자동차를 개발하였다. 획득되는 데이터의 신뢰성 측면에서 센서들의 정확한 보정 값(Calibration parameter)과 동기화(Syncronization)를 하는 것이 중요하며, 획득한 데이터를 가공하여 속성정보와 실측값(Ground truth)을 입력하는 과정이 필요하다, 또한, 데이터 활성화를 위해 사용자에게 표준화된 포맷을 제공하였고, 데이터의 접근성을 높이기 위해 데이터 검색을 통하여 다운로드가 가능하도록 하였다.

기준 자동차는 다양한 데이터 획득을 위한 다중센서가 장착되어, 움직이는 물체 데이터를 실시간으로 취득할 수 있는 데이터 수집용 차량이다. 센서 데이터를 저장하는 장치는 중앙집중식 시스템과 분산식 시스템이 있다. 첫 번째, 중앙집중식 시스템은 단일 PC만을 사용하므로 데이터 동기화 부분이 유리하지만, 센서 개수를 확장하는 데 어려움이 있다. 두 번째 분산식 시스템은 센서별 시스템이 여러 대로 구성되므로 시스템 확장에 적합하지만 데이터 동기화를 하는 데 높은 기술력이 요구된다. 본 연구에서는 차후 센서 확장을 위하여 분산식 시스템으로 구성하였다. 각각의 시스템에 EtherCAT 장치를 활용하여 동기화 시스템을 구축하였다. 이를 통하여 주기적인 GPS/INS 정보를 각각의 센서 저장 시스템으로 전달하여 모든 센서 프레임 데이터에 저장된 시간과 위칫값들을 포함하게 했다.

Fig. 1은 본 연구에서 구축한 기준 자동차와 탑재 센서를 보여준다. 차량의 탑재 센서는 환경 인식 센서 5종 16개와 위치 인식 센서 3종 4개로 구성하였다. 환경 인식 센서는 라이다(Lidar) 센서 5대, 레이더(Radar) 센서 3대, 영상 카메라 센서 6대, 온/습도 센서 1대, 조도 센서 1대이며, 위치 인식 센서는 INS/DGPS, DMI, OBD-II이다. 전체적인 시스템 동기화를 위하여 주 PC와 여러 보조 PC 간 인터페이스는 EtherCAT 통신을 포함한다. Fig. 1은 각각의 로깅된 센서들의 저장된 시간을 보여준다. 차량에 탑재한 카메라의 보정 값과 라이다와 카메라 센서의 보정 값, 라이다-INS 보정 값 등을 추출하였고,^19,20) 관련 보정 값을 KODAS 데이터세트에 포함하였다.

Fig. 1 
The data acquisition vehicle

2.2.2 KODAS 데이터 가공 및 구성

본 연구에서는 국내 다양한 환경에서 획득한 데이터로 데이터세트를 구축하였다. 각각 대용량 데이터는 2분 단위로 저장하였다. 데이터의 속성 정보는 획득 위치, 측정 거리/평균속도, 측정시간, 기상(주간, 야간), 일광(맑음, 흐림, 비, 눈), 신호등(유, 무), 도로 유형(고속화 도로, 시내 도로, 캠퍼스, 골목), 복잡도(한적, 보통, 복잡)를 포함한다. 획득된 데이터는 자율주행 자동차에 탑재된 단일 센서로는 인식하기 어려운 환경이 존재함을 드러낸다.

KODAS 데이터세트에 포함된 단일 센서로 인식하기 어려운 상황을 Fig. 2가 보여준다. Fig. 2(a)는 빛번짐 상황으로 영상 기반 접근 방식으로는 주변 차량을 검출하기 어렵다. Fig. 2(b)의 비가 오는 환경과 Fig. 2(c)의 야간 환경도 영상으로 주변 차량을 검출하기 어려운 상황이다. Fig. 2(d)는 차량 와이퍼가 움직여서 물체 일부만 데이터로 획득된 상황이다. 이러한 상황들은 단일 센서만으로 인식하는 데 한계가 있기 때문에 다중센서 융합을 통해 극복해야 한다.

Fig. 2 
The critical scene images on the driving road in part 1

KODAS 데이터세트는 2015년부터 초기 구축을 시작하여 센서 종류, 수집 환경, 데이터 품질에 따라 버전 1부터 3까지 구축하였고, 현재 버전 2와 3을 공개하였다. Table 4는 KODAS 데이터세트 버전 2와 3을 구축하기 위하여 기준 자동차에 장착된 센서 목록을 보여준다. 버전 2와 3의 센서 시스템의 큰 차이는 라이다 센서의 성능이다. 버전 2의 데이터세트는 32채널 라이다 센서로 획득한 데이터를 포함하고 있으며, 버전 3의 데이터세트는 128채널 라이다 센서로 획득한 데이터를 포함하고 있다. 32채널 라이다 센서는 100 m까지 측정이 가능하지만 실측값의 유효거리는 최대 60 m인 반면 128채널의 라이다 센서는 300 m까지 측정이 가능하고 실측값의 유효 거리는 약 100 m까지이다.

Table 4 
The multiple sensor on the data acquisition vehicle

라이다 센서는 주변 환경 정보를 획득하기 위한 주 센서이며, 다중센서 융합 결과에 큰 영향을 준다.

본 데이터세트를 설계하고 구성하기 위해 2017년도부터 현재까지 매년 자동차공학회의 전문 연구 세션을 통하여 데이터 구축 상황을 공유하고, 전문가 의견을 반영하였다. 또한, 구축된 데이터세트에 대한 신뢰성을 확보하기 위해 한국산업기술시험원에 의뢰하여, 벡터 지도의 실측값 정밀도, 영상센서 실측값의 정밀도, 거리센서 실측값의 정밀도, 확장형 지도를 위한 항공 영상의 정밀도에 대한 평가를 받았다.

대회는 두 가지 분야로 나누어 진행하였다. 첫 번째는 전방(Front looking) 영상 기반의 융복합 인식 기술 분야, 두 번째는 전 방향(Onmi-directional) 거리 기반의 융복합 인식 기술 분야로 분류하여 개최하였다. 첫 번째 전방 영상기반의 융복합 인식 기술 분야는 차량의 전방 카메라, 전방의 32채널 라이다 데이터를 제공하여 전방의 차량과 보행자를 인식할 수 있도록 제공하였다. 두 번째 전 방향 거리 기반의 융복합 인식 기술 분야는 전후방의 카메라와 전 방향의 128채널 라이다 데이터를 제공하여 전 방향의 차량과 보행자를 인식할 수 있도록 하였다. KODAS 데이터는 39개의 클래스를 가지고 있지만, 경진 대회 참가자의 확대와 난이도를 고려하여 3개의 클래스로만 간소화하여 제공하였다. 경진 대회는 국내의 자율주행 인식 기술을 연구하는 모든 사람이 참여할 수 있도록 하였다.

Fig. 3은 경진 대회 첫 번째와 두 번째 분야 참가자에게 제공했던 데이터 종류를 보여준다. 분야별 학습과 평가 데이터를 각각 제공하였으며 학습 데이터에는 GT 데이터가 포함되어 있다. Fig. 4는 평가 프로세스를 보여주며, Fig. 5는 첫 번째와 두 번째 분야에 제공된 데이터와 제공된 데이터 기반으로 참가자들이 인식한 결과의 일부를 보여준다. Fig. 4에 나타나 있듯이 참가자가 인식 결과를 제출하면 GT 정보와의 비교를 통해 mAP(mean Average Precision) 결과를 도출하였다.

Fig. 3 
The dataset structure of part 1 and part 2

Fig. 4 
The evaluation overview of recognition

Fig. 5 
The examples of test data and the reorganization results for KODAS challenge part 1 and 2

Fig. 6(a)는 경진 대회 첫 번째 데이터의 기준 자동차와 인식해야 하는 객체(보행자와 차량)의 거리 분포를 나타내며, Fig. 6(b)는 두 번째 데이터의 기준 자동차와 객체 간 거리 분포를 나타낸다. 그래프의 x축은 기준 자동차와 객체 간의 거리를 나타내며, y축은 객체 개수를 나타낸다. Fig. 6(a)와 같이 첫 번째 데이터에서는 32채널 라이다 센서의 유효 거리로 인해 객체의 대부분이 기준 자동차로부터 20∼40 m에 분포하고 있으며, 40 m 이후 객체 수가 급격히 떨어진다. 경진대회에서는 정확한 GT를 제공하기 위해 필요 이상으로 작은 픽셀의 객체는 제한하였다. Fig. 6(b)를 보면 128채널 라이다 센서를 사용하는 두 번째 분야의 데이터에서는 기준 자동차로부터 70 m까지도 상당히 많은 객체가 분포하는 것을 알 수 있다. 두 번째 분야에서는 정확한 GT 정보를 제공하기 위하여 70 m 이내의 물체만 인식할 수 있도록 실측 정보를 제한하였다. 데이터 분포에서 나타나듯이 라이다 센서의 채널 수가 많아질수록 원거리 물체까지 검출할 수 있으므로 더욱 많은 실측 정보를 확보할 수 있다. 경진대회 데이터에 대한 추가적 데이터 분포는 Fig. 9부터 Fig. 12까지와 같다. Fig. 9는 첫 번째 데이터의 이미지별 레이블의 개수를 보여주며, Fig. 10은 첫 번째 데이터를 획득할 때의 환경(맑음, 비, 어스름, 야간) 분포를 보여주고, Fig. 11은 첫 번째 데이터의 다양한 도로 분류를 보여준다. Fig. 12는 두 번째 데이터의 프레임별 레이블 개수를 보여주고 있다.

Fig. 6 
Statistics of object distances of the dataset for KODAS challenge part 1 and 2

자율주행 인식 기술 경진 대회 날 연구 발표회를 통하여 KODAS 데이터세트 설명 및 참가자들의 인식 결과, 연구 방법을 공유하였다. 각 분야에서는 정확도와 재현율(Precision-Recall) 곡선 기반의 mAP를 통하여 결과를 비교 분석하였다. 차량과 보행자의 크기가 다르므로 IoU(Intersection of Union)의 중첩도 값을 상이하게 설정하였다. 차량의 경우 IOU를 0.5로 설정한 반면 보행자의 경우에는 0.33으로 설정하였다. Fig. 7은 참가팀의 인식 결과에 대한 정확도와 재현율을 보여주고 있다. Fig. 7(a)를 보면 Recall의 후반부로 갈수록 인식률은 감소하지만 전체적인 mAP는 상승하고 있다. Fig. 7(b)의 경우에는 인식률 자체는 높아서 인식기의 성능은 매우 우수하지만 mAP에 대한 한계가 있는 결과가 도출되었다. 이처럼 인식 성능에 대한 확신도가 높으나 인식률이 높지 않은 팀이 있는 반면 인식 성능에 대한 확신도가 낮으나 전체적으로 인식률이 높은 팀이 있었다. 그리고 영상처리의 단점을 보완하기 위해 본 데이터세트에 다양한 센서 데이터를 융합하는 인식기를 설계한 팀도 있었다. Fig. 8에 보이듯이 이미지 자체만으로는 객체를 인식하기 어려운 환경에서 이미지 처리만을 통하여 객체 인식을 시도한 팀과 융합 데이터 인식기를 개발하여 이를 극복하려 한 팀이 있었다.

Fig. 7 
The sample results of recognition evaluation

Fig. 8 
The result of recognition with non-fusion and fusion algorithm

Fig. 9 
Number of objects per class and image for KODAS challenge part 1. This figure shows how many objects per class are in the image. The challenge dataset was composed of three classes(car, person and etc) to clarify and simplify the evaluation of the challenge. Note that etc class represents the rest of the objects except cars and persons

Fig. 10 
Number of objects per class according to weather and daylight. As shown in the figure, the KODAS dataset reflects a challenging environment in which object recognition is difficult

Fig. 11 
Number of objects per class according to road environments such as highway, city road, alleyway

Fig. 12 
Number of objects per class and frame for KODAS challenge part 2. This figure shows how many objects per class are in the frame. Note that each frame contains the omnidirectional objects annotated based on 128 channel Lidar