인접 픽셀 정보를 이용한 Shift-Convolution 기반의 3D LiDAR 깊이 완성

1.1 연구 배경

현재 ADAS(Advanced Driver Assistance System) 및 자율 주행 기술은 수많은 딥러닝 기반의 인지 관련 연구^1-4)가 진행되고 우수한 연구 결과를 보고하고 있다. 특히, 자율주행 기술에서는 안전한 주행을 보장하기 위해서 정확한 깊이를 얻어 주변 환경을 더 정밀하게 이해할 수 있게 하는 깊이 추정 연구가 최근 중요해지고 있다. 이러한 연구들은 신뢰성이 있는 깊이정보를 얻기 위해 카메라, LiDAR(Light Detection And Ranging), Radar(Radio Detection and Ranging) 등과 같은 다양한 센서의 깊이 데이터를 활용한다. 하지만 깊이 센서의 데이터 밀도는 매우 낮아 채널의 개수 등과 같은 한계점이 명확하다. 그에 비해, 카메라와 같은 비전 센서는 해상도가 상대적으로 높지만, 단안 카메라는 깊이 측정이 불가하고, 스테레오 시스템은 거리가 멀어질수록 깊이 정확도가 급격히 낮아진다. 이러한 한계점을 극복하기 위해 깊이 정보를 제공하는 LiDAR 센서와 풍부한 정보를 제공하는 카메라 센서의 캘리브레이션을 활용하여 데이터를 융합하고 딥러닝 시스템을 적용하여 LiDAR의 부족한 깊이 정보를 이미지의 픽셀레벨로 복원하는 깊이 완성 알고리즘이 활발하게 연구된다. 기존의 연구는 LiDAR를 이미지 도메인으로 투영시킨 것과 이미지의 데이터를 원형 그대로 CNN의 입력으로 활용한다. LiDAR의 Point cloud 데이터는 이미지 도메인의 픽셀에 비하면 희박한 데이터 구성을 갖고 있고 커널 단위로 연산을 수행하는 단순한 콘볼루션 방식으로는 비효율적이다. 이런 문제를 해결하기 위해 LiDAR에 적용하는 딥러닝 기법을 콘볼루션과 같이 커널 레벨의 마스크 연산기반이 아닌 주변 데이터와의 연관성을 고려하는 새로운 딥러닝 기법을 제안하였다.

1.2 관련 연구

Fig. 1은 딥러닝을 이용한 Semantic,⁵⁾ Instance Segmentation⁶⁾의 예시이다. 최근 이미지 데이터를 이해하여 물체의 종류와 각 물체, 배경을 구분하는 Segmentation과 관련해 많은 연구가 나오고 있고 그 성능 또한 훌륭하게 나오고 있다. 영상에 단순히 하나의 물체만 존재하고 그것을 배경과 구분하는 것을 넘어서 여러 물체가 겹쳐 있거나 물체를 구분하기 어려운 매우 복잡한 장면의 성능까지 만족할 수준으로 연구가 진행되었다. 이러한 알고리즘들은 단안 카메라를 입력으로 받고 CNN 레이어를 이용하여 결과를 산출한다. 고해상도의 표현을 출력하기에 물체의 윤곽, 작은 물체 감지 등 고 난이도의 문제를 해결한다.⁷⁾

Fig. 1

(a) DeepLabV3, Examples of Semantic Segmentation,5) (b) Mask R-CNN, Instance Segmentation6)

이미지 기반 딥러닝의 연구가 활발해짐과 동시에 항상 카메라 센서와 비교되는 LiDAR에 관련된 연구도 활발해졌다. Fig. 2는 실 좌표계에서 LiDAR Super Resolution, 3D Semantic Segmentation, 3D Object Detection 문제를 해결하려고 한 연구들이다. 이러한 연구들은 LiDAR 데이터 자체만을 이용하여 단순한 CNN이 아닌 일정 볼륨을 하나로 합치는 Voxel,⁹⁾ 포인트 별로 하나씩 접근하는 MLP(Multi Layer Perceptron)⁸⁾와 같이 빈공간을 참조하는 콘볼루션 연산의 비효율을 타파하려는 연구들이 있다.

Fig. 2

(a) Example of PU(Point Upsampling)-Net8), (b) 3D Semantic Segmentation9), (c) 3D Object Detection10)

2.1 Point Cloud의 이미지 평면 투영

Point cloud 데이터를 이미지 평면으로 투영하는 데카르트 변환식은 식 (1)과 같다.

여기서 I는 이미지 좌표계의 점 (u, v)를 의미하고 L은 데카르트 좌표계의 점 (x, y, z)를 의미하고 r은 변환 파라미터를 의미한다. 카메라와 LiDAR의 포즈를 추정하는 과정에서 오차가 발생하여 변환 행렬을 구성할 때 오차가 더해진다. 부정확한 센서 외부 파라미터 추정에 더해 LiDAR 센서가 데이터를 출력하기 위해 구좌표계에서 데카르트 좌표계로의 변환이 이뤄지는 과정에서의 소수점 누락으로 인한 오차, 센서간 싱크 문제로 인한 오차 등이 누적된다. 이러한 센서 캘리브레이션 문제 때문에 물체 간의 외곽선 구분이 어려워지는 결과가 발생하게 된다. 하지만 본 연구에서는 딥러닝 레이어의 데이터 처리 과정에서 이미지의 색상정보를 이용하여 부정확한 캘리브레이션 오차를 해결하였다.

Fig. 3은 이미지 평면으로 투영된 Point cloud가 이미지가 제대로 정돈되지 않은 문제와 Point cloud의 서로 다른 물체위에 놓인 점들이 겹쳐 외각선을 흐릿하게 만드는 문제를 보여준다.

Fig. 3

Occlusion problem of the projected point cloud

2.2 Point Cloud와 GT의 데이터 구성

이미지와 LiDAR 포인트들의 캘리브레이션 문제와 별개로 Point cloud 데이터 자체의 희박한 밀도 특성이 존재한다.

Fig. 4는 이미지 평면에 투영된 LiDAR 포인트들의 예시이고 Table 1은 이미지 평면으로 투영된 Point cloud들의 데이터 분포도이다. 깊이정보가 채워져 있는 픽셀의 비율은 약 7 %로 이러한 희박한 밀도 특성은 네트워크 안의 콘볼루션 연산을 비효율적으로 만든다.

Fig. 4

Examples of the projected point cloud

Table 1

Distribution table of the projected point cloud

우리가 제안하는 네트워크를 학습시키기 위한 GT 데이터는 스테레오 카메라와 LiDAR를 이용하여 구성하였다.

Fig. 5는 영상처리 기법이 적용되어 팽창된 GT와 원본 GT의 예시이다. 원본 GT는 빛이 강하거나 그림자가 많이 드리운 부분, 이미지의 좌우 끝에는 정보가 존재하지 않고 LiDAR에 비해 밀도가 높지만 여전히 상대적으로 이미지에 비해 데이터 밀도가 옅다. 팽창된 GT는 원본 Point cloud 데이터를 입력 받아 깊이정보가 빈 곳 없이 채워진 이미지를 만드는 Shift-Conv을 학습시키기 위해 만들어졌다. 원본 GT의 밀도를 높이기 위해 최댓값 필터(팽창연산)를 씌워 빈 곳을 채우고 잡음 제거와 스무딩을 위해 중간값 필터를 씌워 팽창된 GT를 만든다.

Fig. 5

Examples of (a) expanded GT and (b) original GT

3.1 Shift-Convolution

이 절에서는 원본 LiDAR를 입력 받아 팽창시킨 E-Point를 만드는 목적을 가진 Shift-Conv 구조에 관해 서술한다.

Fig. 6은 주변 픽셀 정보를 하나씩 순차적으로 받아들여 Shift-Conv 연산을 진행하는 구조를 도식화한 그림이다. 그림은 설명을 위해 한 픽셀만을 예시로 설명하였지만 Shift-Conv 연산은 모든 픽셀에서 진행된다. 데이터가 무효한 빈공간을 깊이 값으로 채우기 위해 입력 특징맵의 채널을 9등분하고 그 중 8개의 채널을 8방향으로 Shift 시킨다. 그 후, (1×1) 콘볼루션을 수행하여 원본 특징과 주변 특징을 모두 비교하여 빈 공간 없이 깊이 값으로 가득 찬 데이터를 얻는다.

Fig. 6

Architecture of Shift-Conv. The green boxes mean feature map, the light green pixels mean origin location, and the yellow pixels mean shifted direction

식 (2)는 Shift-Conv 모듈을 수식으로 표현한 것이다. 여기서 f 와 g는 각각 (1×1) 콘볼루션, 데이터를 이어 붙이는 연결(Concatenation)을 의미하고 T_d는 원본을 포함한 8방향으로 특징맵을 Shift 시키는 9가지의 Translation 연산을 의미한다. Xc는 입력벡터 X의 c번째 채널을 의미하고 C는 입력벡터의 전체 채널의 개수이다.

Fig. 7은 이미지 평면으로 투영된 Point cloud와 Shift-Conv를 이용하여 팽창시킨 E-Point의 예시이다. 국소적인 주변부만의 정보만을 가져와 추론하므로 외각선이 뚜렷한 대신, 잡음에 약한 모습을 보여준다. 이러한 E-Point를 이용하여 성능을 개선하였다.

Fig. 7

Examples of the projected point cloud and E-point

3.2 제안하는 네트워크 구조

팽창된 E-point와 원본 Point cloud, 이미지를 네트워크의 입력으로 사용하여 픽셀단위의 깊이를 복원한다.

Fig. 8은 제안하는 시스템의 알고리즘 흐름도이다. 제안하는 시스템은 Point cloud의 밀도를 팽창시키는 Shift-Conv와 깊이 완성을 수행하는 CNN을 End-to-end 방식으로 학습시키고 깊이를 추론한다.

Fig. 8

Flow chart of the proposed system

Fig. 9는 제안하는 네트워크의 구조이다. 연산량이 매우 많은 HRNet¹²⁾의 레이어의 개수를 줄여 연산량을 줄인 네트워크로 모델을 구성하였다. 기존의 HRNet은 높은 단계의 표현 레이어 진행 횟수와 낮은 단계의 표현 레이어의 진행 횟수가 같다. 한정된 컴퓨터 자원과 연산속도를 고려하여 가장 낮은 단계의 표현 레이어의 개수를 절반으로 줄였다. 인코딩 레어이의 입력으로 활용하기 위해 E-point, Point cloud, 이미지를 원본 데이터를 바로 입력하지 않고, 콘볼루션 레이어를 한번 수행한 후입력으로 사용하였다. 위로 진행하는 화살표는 최근방 이웃 보간법을 이용한 업샘플링을 의미하고, 수평으로 진행하는 화살표는 BottleNeck¹³⁾의 Skip-Layer, 아래로 진행하는 화살표는 Stride가 2로 설정되어 특징맵의 크기가 절반으로 줄어드는 하나의 (3×3) 콘볼루션 레이어를 이용한 다운샘플링을 의미한다. 데이터를 합칠 때는 합연산을 이용하고 최대 1/8 크기까지 줄어드는 다운샘플링 이후에 반복되는 레이어 구조는 물결표시를 이용하여 생략하였다. 물결 생략을 끝으로 인코딩 과정을 마친 후 복호 레이어의 입력으로 넣기전에 원본 사이즈로 모든 특징맵을 키우고 연결하여 데이터를 구성한다.

Fig. 9

Structure of the proposed network

복호 레이어는 콘볼루션 레이어 하나를 이용해, 픽셀 단위의 1채널 깊이 데이터를 출력한다.

4.1 실험방법

본 연구의 실험은 Intel core i9-7900X 3.3 GHz CPU와 우분투 18.04 OS, NVIDIA GTX TITAN Xp GPU를 이용하여 실험을 진행했고 알고리즘을 평가하기 위해 KITTI dataset의 Depth completion 부문의 Evaluation 데이터셋을 사용하였다. 성능을 평가하기 위한 데이터셋은 학습에 사용되지 않은 데이터이며 학습용 데이터셋과 마찬가지로 모두 크기가 (1216×256)가 될 수 있도록 정규화하였다. 학습에 활용한 최적화 함수는 Adam¹⁴⁾을 사용하였고 학습율은 1e-5, Weight decay는 1e-4로 설정했다. Shift-Conv를 보조 학습시키기 위해 팽창된 GT를 사용했고 CNN을 학습시키기 위해 원본 GT를 사용했다. 사용한 손실 함수도 사용하는 모듈마다 다르게 적용하였다. Shift-Conv는 EMD(Earth Mover’s Distance)를, CNN에는 MSE(Mean Squared Error)와 RMSE(Root Mean Squared Error)를 활용하였다.

여기서 활용한 EMD 함수는 하나의 벡터에서 목표 벡터까지 옮기는데 드는 최소한의 비용을 계산하는 함수이다. 두 이미지간 거리 측정을 예로 들면,¹⁵⁾ P = {(p_m, w_pm), m = 1, 2, …, M}, Q = {(q_n, w_qn), n = 1, 2, …, N}, p와 q는 색, w는 색의 비율인 두 이미지가 존재할 때 EMD는 P와 Q의 색상간 거리 측정을 하기 위한 최소비용을 계산한다. 최소비용을 계산하기 위해 p에서 q로 옮겨진 색의 양과 옮겨진 색의 거리의 곱을 구한다.

4.2 실험 결과

정량적 평가를 진행하는 평가 지표로써 가장 널리 쓰이는 RMSE와 동작속도를 이용하여 비교하였다. 데이터의 총 수는 1,000장이고 오직 GT에서 정답이 존재하는 유효한 픽셀에 대해서만 평가하였다.

Fig. 10은 네트워크 최종 결과물의 예시이다. 입력 이미지, Point cloud, E-point를 깊이를 완성하는 네트워크에 입력하여 출력 결과를 만든다. E-point를 이용해 먼 거리의 작은 물체도 정확하게 깊이를 측정하고 명확한 윤곽선의 출력을 만들었다. 하지만, 상대적으로 밀도가 희박한 부분의 결과는 물체와 배경의 경계가 모호해지거나, 외형이 제대로 형성되지 않는 결과가 만들어진다.

Fig. 10

Example of the results. (Top) is the input image, (Middle) shows E-point, and (Bottom) represents final result of the proposed system

Table 2는 KITTI dataset을 이용하여 제안하는 방법의 성능을 평가한 표이다. 제안하는 방법은, 기존의 알고리즘들에 비해 약 16배 빠른 동작속도를 갖고 성능은 2.7 % 가량 상승했다.

Table 2

KITTI depth completion benchmark

또한, 제안하는 Shift-Conv 모듈의 효율성을 입증하기 위해 Ablation 실험을 진행하였다. Shift-Conv를 제거한 시스템은 기존의 사용하던 CNN과 동일한 구조에 이미지와 Point cloud만을 입력으로 활용하여 깊이 완성을 진행하였다.

Table 3은 Shift-Conv의 성능을 보여주기 위해 Shift-Conv를 포함한 모델과 포함하지 않은 모델의 성능을 비교한 표이다. Shift-Conv를 이용하여 만든 E-point는 작은 물체의 적은 포인트 수, LiDAR의 Occlusion 문제, 적은 밀도문제를 해결하였고, 이러한 특성 덕분에 Shift-Conv를 포함한 모델은 포함하지 않은 모델에 비해 8.7 %의 성능향상을 가졌다.

Table 3

Evaluations for ablation study