Journal Archive

자율주행 자동차에 대한 관심이 나날이 커짐에 따라 딥러닝을 기반으로 한 인지 기술이 급속도로 발전하고 있다. 우선적으로 카메라 영상에 대한 차량, 보행자, 또는 차선 등 다양한 객체를 검출(Object detection)하고 구분(Recognition)하는 기술이 제안되었고 최근에는 라이다(Lidar)를 기반한 딥러닝 인식기술로 활발하게 연구가 확대되고 있다.¹⁾ 특히 3D라이다는 3차원 포인트 클라우드(Point cloud)를 생성하여 주변 환경에 대해 정확한 거리 정보를 얻을 수 있기에 2D뿐만 아니라 3D 객체 검출 연구에 사용되고 있다.²⁾

라이다 기반 객체 검출 연구는 대부분 지도 학습(Supervised learning) 기반의 딥러닝 알고리즘이 개발되고 되고 있으며 이를 가속화하기 위한 데이터셋(Dataset)이 공개되고 있다.^2-4) 그중 가장 널리 알려진 KITTI 데이터셋을 이용하여 객체 검출 알고리즘을 개발하고 그 성능을 비교하는 리더보드(Leader board)가 공개되어 있다.²⁾

리더보드에 소개된 객체 검출 기술은 크게 포인트 클라우드의 표현방법(Representation)과 검출 단계(Stage)로 구분할 수 있다. 우선 라이다 정보를 표현하는 방법에 따라 4가지로 나눌 수 있다. 영상기반 객체 검출에 널리 사용하는 Convolution Neural Network(CNN)를 사용하기 위해 2D 격자(Grid)로 표현하는 이미지 기반 표현, 3D 격자로 표현하는 복셀(Voxel) 기반 표현, 포인트 클라우드의 정보를 직접 사용하는 포인트 기반 표현, 주변 포인트와의 관계를 정점(Vertex)과 간선(Edge)으로 이루어진 그래프로 표현하는 그래프 기반 표현이 있다. 검출 단계로는 물체를 사각형으로 표현하고 해당 위치와 종류를 동시에 예측하는 단식(Single stage) 기법과 이를 단계적으로 객체의 위치를 먼저 예측하고, 후에 종류를 분류하는 다단식(Multi stage) 기법으로 나눌 수 있다.¹⁾ 대표적으로 Complex-YOLOv3,⁵⁾ YOLO3D,⁶⁾ Birdnet⁷⁾ 등이 2D 이미지 기반으로 표현하고 YOLO⁸⁾(Single stage), RCNN⁹⁾(Multi stage) 등을 검출 알고리즘의 백본(Backbone)으로 사용하여 개발되었다. 다음으로 VoxelNet,¹⁰⁾ SECOND,¹¹⁾ Fast Point-RCNN¹²⁾ 등이 복셀(Voxel)기반으로 표현하고 Fast Point-RCNN의 경우 Fast RCNN을 검출하기 위한 백본 네트워크로 사용되었다. 세 번째로 포인트 기반 접근방법으로 Point Pillars,¹³⁾ 3DSSD,¹⁴⁾ PointRCNN¹⁵⁾ 등이 제안되고 있으며 더 나아가 복셀과 포인트 기반 접근 방법을 혼용한 PV-RCNN¹⁶⁾이 최근에 제안되었다. 마지막으로 그래프 기반 표현 방법을 사용한 것으로는 PC-RGNN,¹⁷⁾ Point-GNN¹⁸⁾ 등이 있다.

객체 검출 알고리즘의 검증과 평가는 일반적으로 AP(Average Precision)와 실행시간 등을 주요 KPI(Key Performance Index)를 설정한 후 주어진 데이터셋에 대하여 상대적인 비교를 통하여 이루어지고 있다. AP는 물체 검출 알고리즘의 두 성능인 정밀도(Precision)과 재현율(Recall)을 종합한 수치이다.³⁰⁾ 하지만 공개된 데이터셋은 일반적으로 안전하게 주행하는 시나리오가 대부분을 차지하고 있어 충돌이 날 수 있는 위험 상황 시나리오에 대한 알고리즘의 검증과 평가는 한계가 있다. 즉, 라이다의 객체 검출 시 중요한 시나리오 또는 획득하기 어려운 상황(Edge-case)에 대한 공개 데이터셋을 찾아보기 어려워 검증과 평가 관점에서 미흡한 점이 존재한다. 이러한 이유로 최근에는 시뮬레이터를 사용한 가상환경에서 생성한 데이터를 바탕으로 알고리즘을 학습하고 평가하는 방법이 제시되고 있다.²²⁾

본 논문에서는 포인트 클라우드의 표현방법과 검출 단계의 구분에 따라 대표적인 딥러닝 기반 차량 검출 네트워크 3종을 선정하고 이를 실제 주행데이터와 시뮬레이터를 통해 생성된 가상데이터를 통합한 데이터셋에 대해서 학습을 하고 상대적 성능을 비교하고자 한다. 좀 더 구체적으로 충돌 위험성이 큰 가상 위험 시나리오에 대한 시뮬레이션을 수행하고 성능 비교 시 평가지표는 자차량의 주행 궤적 상에 있는 선행 차량(Primary vehicle) 검출로 제한하여 안전성 관점에서의 성능 분석을 수행하고자 한다. 더 나아가, 학습하는 방법이 객체 검출 성능에 미치는 영향을 살펴보고자 한다.

라이다 기반 차량 검출 알고리즘의 검증 및 평가를 위하여 64채널 라이다 데이터를 제공하는 KITTI 데이터셋이 가장 널리 알려져 있다.²⁾ 그 외에도 Waymo, Audi 등 많은 기업에서 라이다의 장착위치, 개수, 채널 수가 다른 다양한 라이다 데이터셋이 지속적으로 공개되고 있다.^3,4) 국내의 경우 상대적으로 공개 데이터셋은 적으며 최근에 128채널 라이다를 기반으로 KODAS라 명명되는 고속도로와 국도 주행 데이터가 일부 공개되고 있다(Fig. 1 참조).^19,20) 이러한 데이터셋 에서는 차량 검출 알고리즘의 성능 평가를 위하여 일반적으로 AP를 기준으로 순위를 공개하고 있다. 즉 Fig. 1(a)의 경우 7대 차량(붉은색 박스)에 대해서 얼마나 차량을 잘 인식하느냐(녹색 박스)로 평가하고 있지만 ADAS나 자율주행으로의 응용 측면을 고려한다면 자차 주변 차량의 인식 성능이 상대적으로 더 중요하다고 할 수 있다. 다시 말해서, Fig. 1(a)의 경우 자차 기준으로 가까운 전방 3대의 인식 성능이 좀 더 멀리 있는 4대의 전방 차량 인식 성능보다 안전성 관점에서 더 중요하다고 말할 수 있다. 또 다른 예로 Fig. 1(b)의 경우 멀리 보이는 차선 내 차량의 인식 성능보다 옆 차선에서 가까이 보이는 차량의 인식 성능이 중요하다는 뜻이다. 따라서 본 연구에서는 모든 차량 검출 성능을 비롯하여 충돌 위험성이 높은 선행 차량(Primary vehicle)에 대한 검출 성능을 KPI에 포함하여 성능 분석 연구를 진행하고자 한다.

Fig. 1 
Example of vehicle detection based on KODAS dataset: detected vehicle(green) and ground truth (GT) for vehicles(red)

다음으로 Fig. 1에서 보는 바와 같은 공개 데이터셋은 대부분 안전한 주행 상황에서의 데이터만을 포함하고 있다. 알고리즘의 작동범위를 확대하고 성능 안전성을 제고하기 위해서는 실제 교통사고 상황과 같은 위험 시나리오에 대한 데이터 획득, 이를 통한 학습과 평가가 수행되어야 하지만 데이터 획득 자체가 현실적으로 어렵다. 이에 대안으로 시뮬레이터를 이용한 가상 데이터셋을 생성하고 이를 기반으로 운전 보조 시스템의 성능을 개선시키려는 연구가 활발하게 시작되고 있다.^21,31) 본 연구에서는 가상 데이터셋 생성을 위하여 위험 시나리오 생성 방법론 및 데이터 자동 생성 도구를 적용하고 이를 기반으로 네트워크를 학습하고 세부 튜닝에 따른 인식 성능을 비교하고자 한다.

Fig. 2에서는 IPG CarMaker 시뮬레이터의 128채널 라이다 센서 모델을 사용하여 Fig. 1의 시나리오를 가상화한 결과를 보여주고 있다. 문헌에서 소개된 바와 같이 CARLA와 Prescan과 같은 다른 시뮬레이터 환경을 이용하여 라이다 데이터를 가상으로 생성할 수 있으며 본 연구에서는 우선 CarMaker 시뮬레이터를 기반으로 성능 분석 연구를 진행하였다.²²⁾ 더 나아가 시뮬레이터를 사용하여 Fig. 2와 같은 급격하게 끼어드는 위험 시나리오 데이터를 생성할 수 있어 실제 국내 교통사고 데이터 분석을 기반으로 한 시나리오에 대한 위험 상황을 고려하고 이를 기반으로 알고리즘의 성능을 검증 및 평가하고자 한다.²⁴⁾

Fig. 2 
Examples of vehicle detection based on virtual lidar dataset: detected vehicle(green) and ground truth (GT) for vehicles(red)

선정된 차량 검출 알고리즘의 라이다 채널에 따른 상대적 성능 비교를 위하여 KITTI, KODAS, 시뮬레이션 데이터셋과 같이 3종류의 데이터셋을 고려하였다. KITTI 데이터셋은 라이다 객체 검출의 검증 및 비교 평가에 널리 쓰이는 공개 DB 중 하나로 64채널 라이다를 사용하며 한 장면당 약 12만 개의 클라우드 포인트로 이루어져 있다.²⁾ KODAS 데이터셋은 128채널 라이다를 사용하여 국내 판교, 안산에서의 도심, 고속도로에서 측정한 데이터셋이며 포인트 클라우드 한 장면당 약 24만 개의 포인트로 이루어져 있다.¹⁹⁾ 시뮬레이션 데이터셋은 KODAS 데이터셋과 유사하게 128채널 라이다를 사용하여 KODAS주행 환경을 모사한 일반 주행(General) 시나리오와 위험(Pre-crash) 시나리오가 포함된 데이터셋이다. 가상 시뮬레이션 데이터의 경우 총 주행시간은 1,326초로 10 Hz마다 추출하여 데이터를 생성하였다. 본 연구에서 사용한 데이터셋을 Table 2와 같이 구분하였다.

우선 Table 3과 같이 주어진 3개의 네트워크에 대해서 Table 2의 KITTI 데이터셋의 50 %를 무작위로 선정하여 논문에서 제시된 성능과 비교를 하였다. 본 비교에서는 차량 전체의 인식 성능보다는 ADAS로의 적용 또는 안전에 영향을 미치는 영역 내의 인식 성능을 비교하기 위해 좌우 25 m, 전방 50 m의 정사각형의 관심영역(ROI) 내 차량 검출 성능을 평가하였다. 관심영역은 각 네트워크의 검출 범위의 교집합으로 선정하였다. 후방영역은 Point-GNN이 전방영역만을 검출할 수 있어 제외되었으며, Complex-YOLOv3의 입력 이미지는 정사각형이므로 관심영역의 종방향과 횡방향의 크기를 동일하게 선정하였으며 마지막으로 픽셀 단위의 입력 이미지에서 객체의 크기가 작아 낮은 성능을 보이는 것을 방지하기 위해 전방 50 m의 영역을 선정하였다. 또한, 주변 차량 중 안전과 직접적인 연관이 있는 선행차량(Primary vehicle)에 대한 인지 성능 평가도 추가하였다. Complex-YOLOv3와 PV-RCNN의 경우 문헌상 성능과 1 % 이내의 오차를, Point-GNN의 경우 문헌보다 3 % 낮은 성능을 보여줌으로써 알고리즘에 대한 검증과정이 적절했음을 확인하였다. 차이의 원인으로는 관심영역의 설정과 평가 데이터셋의 차이로 예상된다.

다음으로 128채널 라이다 데이터셋에 대한 객체 검출 알고리즘의 성능을 비교하기 위해 KODAS 데이터셋에 맞게 알고리즘을 설정 후 Table 3의 학습데이터를 이용하여 학습을 진행하였다. 학습은 Ubuntu 18.04, Xeon E5-2620, RTX2080를 사용하여 진행하였다. Complex-YOLOv3의 경우 Loss가 충분히 수렴하도록 약 14시간 동안 100 epoch의 학습을 진행하였으며 PV-RCNN의 경우 약 50시간 동안 40 epoch의 학습을 진행하였다. 마지막으로 Point-GNN의 경우 약 120시간 동안 140 epoch의 학습을 진행하였다.

64채널에서 128채널로의 라이다 데이터의 해상도가 증가함에 따라 Complex-YOLOv3는 약 5 %, PV-RCNN과 Point-GNN은 각각 약 4 %와 3 %의 AP상승을 보였다. 더 나아가 선행차량 검출 성능으로 KPI를 변경한 경우 Complex-YOLOv3와 PV-RCNN의 선행차량에 대한 AP는 각각 약 8 %, 1 % 증가한 성능을 보였다. 이처럼 선행차량 인식 관점에서 Complex-YOLOv3와 PV-RCNN이 Point-GNN보다는 상대적으로 좋은 성능을 보여주며 이때 각 네트워크의 검출 속도는 Complex-YOLO의 경우 6.2 Hz, PV-RCNN의 경우 2 Hz, Point-GNN의 경우 1.4 Hz로 Complex-YOLOv3가 가장 빠른 속도를 보였다.

128채널 라이다에 대한 성능 향상이 크지 않고 학습 시간이 오래 걸리는 Point-GNN을 제외하고, 시뮬레이션을 통하여 생성한 위험 상황 데이터에 대한 데이터셋의 확대 및 이를 기반으로 한 학습 방법에 대해서 살펴보고자 한다. 우선 Table 2와 같이 KODAS 40 %(train)만을 학습하는 경우와 시뮬레이션 43 % 데이터셋을 추가하여 확대된 데이터셋으로 학습하는 방법으로 구분하였다. 더 나아가, KODAS 40 %로 학습한 후 시뮬레이션 데이터로 순차적으로 학습하는 Fine-tuning 방법과 반대 순서로 학습하는 방법도 고려했다. Table 4에서 보는 바와 같이 평가를 시뮬레이션 데이터만을 사용하는 경우와 실제 주행 데이터를 포함하는 경우로 나누어 진행하였다.

KODAS 데이터셋만을 이용하여 학습한 경우 시뮬레이션 데이터에 대해서 검출성능 저하가 크게 발생하는 것인 확인할 수 있다. 그리고 순차적 학습(Fine-tunning)보다는 KODAS 데이터와 시뮬레이션 데이터를 모두 합쳐서 학습하는 경우 테스트된 2개의 네트워크에 대해서 전체적으로 우수한 성능을 보여주고 있음을 알 수 있다. KODAS 데이터셋만을 사용하여 학습하였을 때 시뮬레이션 데이터셋에 대한 성능이 낮은 이유는 크게 두가지로 볼 수 있다. 첫 번째는 시뮬레이션 데이터셋의 정합성을 확인하는 과정에서 관찰되었던 실제와 가상의 센서 모델 차이로 인한 성능 차이가 있다.²¹⁾ 두 번째는 Fig. 2의 예시와 같이 시뮬레이션 데이터셋에는 KODAS 데이터셋에서 볼 수 없었던 위험 시나리오가 포함되었고, 위험 시나리오에서의 검출 성능이 낮았기 때문이다. 좀 더 구체적으로는 전체 데이터셋을 혼합하여 학습한 경우 Complex-YOLO는 시뮬레이션 데이터를 Fine-tuning한 경우와 1 % 내의 차이를 보이며 유사한 성능을 보였지만 PV-RCNN의 경우 Fine-tuning의 경우보다 전체 데이터셋 검출은 7 %, 선행차량 검출(Table 4의 괄호 안 성능 참조)은 4 % 높은 성능을 보였다.

Table 5는 참고문헌에 제시한 방법론을 토대로 시뮬레이션 데이터로 학습 후 실제 주행 데이터의 비율을 변화시키면서 Fine-tuning한 성능을 보여주고 있다. 성능 비교 시 Fine-tuning 진행 과정에서 생성된 개별 모델의 성능을 관찰한 뒤 가장 좋은 성능을 보인 모델을 선택하였다. Fine-tuning시 PV-RCNN의 경우 학습률(Learning-rate)을 선행 학습에 비해 1/10으로 줄여 최대 20 Epoch로 진행하였으며, Complex-YOLOv3의 경우 선행 학습과 같은 학습률과 Epoch를 사용하여 진행하였다.

Table 5는 시뮬레이션 데이터로 학습한 후 실제 주행 데이터를 학습시키는 경우 네트워크 성능의 변동성이 크지 않음을 보여주고 있다. 즉 시뮬레이션을 통한 학습 후 실제 주행 데이터를 학습시킨다면 이후에 많은 주행데이터가 생성되더라도 매번 재학습을 하지 않고 좀 더 실제 주행 환경에 강인한 네트워크가 학습될 수 있을 것으로 예상할 수 있다.

마지막으로 좀 더 확대된 순차적인 학습 과정에 대한 성능 변화를 살펴보고자 한다. 위험 시나리오 4종류에 대해 7개의 시뮬레이션을 추가하여 1,216장(Simulation 9 %)의 데이터를 생성하였으며, Table 5의 세 번째 학습방법을 적용한 후 새로운 데이터만을 사용하는 추가하여 다시 학습하는(Fine-tunning) 방법과 새로운 데이터와 기존 학습 데이터를 각각 50 %씩 혼합하여 사용하는 방법으로 진행하였다. 학습 결과 두 방법 모두 Table 5의 세 번째 학습 결과와 비교했을 때 시뮬레이션 데이터에 대한 성능은 향상되었다. 하지만 새로운 데이터만을 사용하여 Fine-tuning하였을 때, 전체 평가 데이터셋에 대해 PV-RCNN의 전방차량 성능을 제외하고는 유의미한 개선이 이루어지지 않았다. 반면 새로운 데이터와 이전 학습 데이터를 혼합하여 학습하였을 때, 두 알고리즘 모두 두 KPI에 대해 성능이 상승하였다. 또한 새로이 추가된 데이터를 학습할 때 이전에 학습된 데이터와 혼합하여 학습하는 경우 모든 데이터를 혼합하여 한 번에 학습하는 방법(Table 4의 세 번째 결과)과 유사한 성능을 보여주고 있다. 학습된 결과를 적용한 예로 Fig. 5는 Fig. 2와 동일한 상황에서 개선된 검출 결과를 보여주고 있다. 즉 PV-RCNN와 Complex-YOLOv3 기반 차량 검출 알고리즘이 모든 차량을 검출하고 있음을 보여준다.

Fig. 5 
Vehicle detection result of PV-RCNN(top) and Complex-YOLO(bottom): detected vehicle(green) and ground truth(red)

본 연구에서는 문헌에서 제안되고 있는 라이다 기반 차량 검출 알고리즘에 대해서 학습과 평가관점에서 성능을 개선시킬 수 있는 방법에 대해서 살펴보았다. 좀 더 구체적으로 라이다 채널 수가 변경되는 경우에 대해서 2종류의 라이다 데이터셋을 대상으로 선정하였으며 위험한 시나리오를 고려하기 위하여 가상 라이다 데이터셋을 생성하였다. 다음으로 네트워크의 설정 상수를 적절히 설정하고 Fine-tuning을 적용하여 위에서 언급한 데이터셋의 변화에 대해서 적절하게 학습되어 성능저하가 발생하지 않도록 차량 검출 알고리즘을 개발하였다. 향후에는 좀 더 많은 주행 및 가상 데이터셋에 대해서 센서 모델의 정합성 분석, 전이학습의 방법론 다양화 등을 확대 적용하고 직접 연구 개발한 차량 검출 알고리즘과 다른 알고리즘을 비교하는 것에 사용하고자 한다.