차량용 라이다 센서를 위한 실시간 표면 오염 판단 알고리즘

1. 서 론

LiDAR(Light Detection and Ranging)는 자동차 산업, 드론, 스마트 공장, 로봇 분야 등 다양하게 활용되고 있다. LiDAR는 Radar(RAdio Detection And Ranging)보다 물체의 위치, 형상과 주변 환경을 고밀도로 인지하는 장점을 가지고 있으며, 이를 통해 실시간으로 정밀한 거리 측정과 3D 맵핑이 가능해진다. 또한 Camera 보다 환경적인 영향에 강인하고 정밀한 깊이(Depth) 추정이 가능하기 때문에 주변의 객체와 환경을 인지하고 차량의 안전과 관련된 판단에서 다른 센서보다 큰 비중을 차지한다.^1,2) 하지만 LiDAR는 차량 외부에 장착되어 있어 다양한 요인으로부터 오염에 취약하다는 문제점이 있다. LiDAR 표면의 상태를 실시간으로 파악하지 못할 경우 오염으로 인한 인지 사각지대에 대하여 대응하지 못해 탑승자, 주변 차량, 보행자들의 안전에 큰 위협이 된다.

LiDAR 표면 오염을 판단하는 연구에선 LiDAR 표면 오염원을 딥러닝을 통해 분류했지만, 실시간 오염 판단을 하지 않았다.³⁾ 또한 추가적인 센서를 사용하여 LiDAR의 외부에 부착된 보호 윈도우의 오염을 판단하는 내용을 담고 있는 연구도 있었다.⁴⁾ 아직까진 주로 객체 인지와 더불어 다양한 날씨로 인한 센서 입력의 영향^5-10)과 LiDAR를 통한 날씨를 판단,^11,12) 대기의 오염을 검출^13-17)하는 연구가 진행되고 있으며, LiDAR자체의 입력값을 통해 오염을 실시간으로 검출하는 연구는 활발히 진행되고 있지 않다.

본 논문에서는 실시간 LiDAR 표면 오염 판정을 위한 방법을 제시한다. 2장에선 LiDAR 표면 상태에 따른 입력데이터 변화를 설명한다. 표면이 오염되지 않아도 데이터 누락은 발생하였으며, 해당 데이터 누락의 요인을 환경적, 구조적으로 분류하였다. 3장에선 데이터 누락 지점을 탐색 및 추출하고 해당 정보를 수반하는 Range-map과 Bit-map을 생성 및 시각화하는 과정을 담고 있다. 4장에서 실질적인 표면 오염으로 발생한 데이터 누락을 검출하기 위해 환경적, 구조적 요인에 따른 데이터 누락의 특성을 반영한 필터링 기법을 제시한다. 그리고 5장에서는 층(Layer)마다 오염도 판정영역을 생성하여 제거되지 않은 환경적 데이터 누락과 표면이 오염되어 발생하는 데이터 누락을 함께 판단하여 출력하는 방법에 관해 설명한다. 그리고 6장에서 차량이 외부도로를 주행하는 실험을 통해 본 논문의 알고리즘을 검증하였다.

2. LiDAR 데이터 입력

2.1 LiDAR의 동작원리

본 논문에서 사용된 Velodyne VLP-16 LiDAR의 경우 16개의 층(Layer)로 구성되어 있으며 최상단 층(Layer)의 Elevation은 Side view 기준으로 15°, 최하단 층(Layer)는 -15°로 층(Layer)마다 2° 간격으로 구성되어 있다. 해당 각도는 ω(Fig. 1)로 표기된다.

Fig. 1

LiDAR side view

LiDAR는 내장된 모터를 Feedback controller를 통해 설정된 RPM(Revolution Per Minute)으로 회전시키며 측정값을 출력한다. 본 논문에서 사용된 Velodyne VLP-16의 경우 600 rpm 설정되어 있으며 10 Hz 주기로 데이터를 출력하고 α(Fig. 2) 값이 0.2°씩 증가하며 펄스 레이저가 물체에 반사되어 돌아오는 시간을 측정해 거리를 연산한다. 그리고 거리(R), α, ω를 사용하여 (1), (2), (3)의 공식으로 X, Y, Z를 연산한다.

$\[ X=R\times \mathrm{c}\mathrm{o}\mathrm{s}\left(\omega \right)\times \mathrm{s}\mathrm{i}\mathrm{n}\left(\alpha \right) \]$

(1)

$\[ Y=R\times \mathrm{c}\mathrm{o}\mathrm{s}\left(\omega \right)\times \mathrm{c}\mathrm{o}\mathrm{s}\left(\alpha \right) \]$

(2)

$\[ Z=R\times \mathrm{s}\mathrm{i}\mathrm{n}\left(\omega \right) \]$

(3)

Fig. 2

LiDAR top view

X는 직교좌표계에서 X축의 값을 나타내며 Y는 Y축의 값을 Z는 Z축의 값을 나타낸다. 이 과정을 통해 구형좌표계의 α, ω를 직교좌표계 X, Y, Z로 변환한다.

2.2 구면좌표계를 사용한 LiDAR 입력 데이터 정렬

LiDAR를 사용할 경우 주로 직교 좌표계(Fig. 3) 형태를 사용한다. 오염을 판단하기 위해 모든 입력 데이터에서 누락된 부분을 탐색해야 한다. 하지만 직교좌표계 상의 Pointcloud들은 불규칙적으로 분포되어 있기 때문에 데이터 정렬 과정과 차량의 이동에 따라 변화하는 탐색영역에서 누락된 부분을 실시간으로 모두 탐색하기엔 많은 시간이 소요된다.

Fig. 3

Orthogonal coordinate system

지속해서 변화하는 탐색 범위의 영향을 최소화하기 위해 구면 좌표계(Fig. 4)를 사용하였다. 구면 좌표계의 경우 층(Layer)마다 360°인 고정적인 범위를 가져 차량이 이동하며 변화하는 최대 입력데이터 범위의 영향을 받지 않는다. 그리고 구면 좌표계의 경우 데이터 입력순으로 α 값이 정렬되어 간단한 정렬 과정 후 데이터 누락 부분을 탐색할 수 있다.

Fig. 4

Spherical coordinate system

2.3 표면이 오염되지 않은 LiDAR의 데이터 입력

LiDAR의 입력에서 다양한 요인으로 데이터 누락이 발생한다. 본 논문에선 데이터 누락을 유발하는 요소를 3가지로 구분하였다. 구조적 요인의 데이터 누락, 환경적 요인의 데이터 누락, LiDAR 표면 오염으로 인한 데이터 누락이다.

구조적 요인의 데이터 누락의 경우 Fig. 5처럼 회전형 LiDAR를 차량에 부착하는 과정에서 장착 어댑터와 차량에 의해 LiDAR의 표면이 가려지거나 펄스 레이저가 근접한 거리에서 반사되는 경우 발생한다. 본 논문에서 사용된 Velodyne VLP-16은 반경 50 cm 이내에 물체가 있을 때 해당 영역에서 데이터 누락이 발생한다.

Fig. 5

LiDAR attached to autonomous vehicle in various ways

환경적 요인의 데이터 누락의 경우 LiDAR 탐지 범위 이내에 물체가 없어 펄스 레이저가 소실되는 경우와 펄스 레이저를 잘 흡수하는 검은색 물체 또는 유체로 인해 발생하는 데이터 누락으로 정의하였다. Velodyne VLP-16의 최대 탐지거리인 100 m 이내에 물체가 없는 하늘과 평지로 인해 데이터 누락이 발생하였다. 그리고 도로에서 주행하고 있는 검은색 차량과 검은색 객체들도 데이터 누락을 유발한다.

데이터 누락은 복합적으로 발생하여 구조적, 환경적 데이터 누락의 형태를 구체적으로 확인하기 위해 실험을 진행하였다. 실내 환경에선 정상적인 데이터 입력을 확인하고 터널환경에선 구조적 요인의 데이터 누락을 확인하였다. 그리고 외부도로에선 환경적 데이터 누락을 확인하였다.

2.3.1 실내환경의 LiDAR 입력 데이터

Fig. 6은 LiDAR 표면이 오염되지 않은 상태의 데이터 입력을 확인하기 위해 실내 환경에서 측정한 결과를 3D로 시각화하였다. Fig. 7처럼 층(Layer)마다 α 값이 일정하게 증가하며 평균적으로 1818개의 데이터가 들어오는 것을 확인할 수 있었다.

Fig. 6

LiDAR data in the indoor environment

Fig. 7

Alpha graph in the indoor environment

2.3.2 구조적 요인의 데이터 누락

구조적인 데이터 누락이 발생한 데이터를 취득하기 위해 왼쪽 사이드미러에 부착된 LiDAR에 Fig. 8처럼 150° ~ 250° 지점에 절연 테이프로 가려 데이터 누락을 유발하였다.

Fig. 8

LiDAR with part of the surface covered with tape

Fig. 9는 지하터널의 환경에서 차량 왼쪽 사이드미러에 LiDAR를 부착 후 취득한 데이터를 3D로 시각화한 사진이다.

Fig. 9

LiDAR data in the tunnel environment

Fig. 10처럼 각 층(Layer)에서 일정하게 상승하던 α 값이 테이프로 가려져 있는 150° ~ 250° 지점에서 데이터 누락이 발생하였다. 데이터 누락은 α 값의 불연속 그래프로 표현된다. 그리고 층(Layer)마다 평균적으로 1245개의 데이터가 입력되었다.

Fig. 10

Alpha graph in the tunnel environment

2.3.3 환경적 요인의 데이터 누락

Fig. 12의 그래프는 동일한 차량에서 외부도로(Fig. 11)를 주행하며 취득한 데이터이다. 앞선 그래프와 동일하게 150° ~ 250°에서도 구조적 데이터 누락이 발생하였으며 추가로 산발적인 데이터 누락이 발생하였다. 이는 구조적 데이터 누락 이외에 환경적 데이터 누락이 추가로 발생한 것이다.

Fig. 11

LiDAR data from road environments

Fig. 12

Alpha graph in the road environment

Fig. 13의 그래프는 층(Layer)마다 입력된 포인트의 수를 나타낸 그래프다. 하단 층(Layer)에서 상단 층(Layer)로 갈수록 입력되는 데이터 숫자가 적어지며 이는 하단의 층(Layer)보다 상단의 층(Layer)가 환경적 영향을 더 받는 걸 알 수 있으며 다양한 환경적 요인 중 하늘로 인한 영향이 데이터 누락에 크게 작용한다는 걸 알 수 있다.

Fig. 13

Number of input data per layer of road environments

2.4 표면이 오염상태인 LiDAR의 입력 데이터

Fig. 14는 LiDAR의 데이터 누락을 최소화한 실내환경에서 외부에서 유입된 흙과 젖은 나뭇잎 등의 오염물질로 인한 LiDAR 표면 오염이 데이터 입력에 미치는 영향을 확인하였다. 그러나 본 연구에서는 흙의 입자 크기와 나뭇잎의 크기와 같은 요소를 고려하지 않은 상태에서 분석을 진행하였으므로, 본 논문에서 제시된 결과는 제한적인 오염물에 대한 것으로 간주해야 한다.

Fig. 14

LiDAR data in the indoor environment

2.4.1 흙으로 오염된 LiDAR 입력 데이터

Fig. 15는 LiDAR 표면에 흙을 부착한 사진이다.

Fig. 15

LiDAR surface is contaminated with soil

Fig. 16은 Fig. 15에서 층(Layer)마다 흙으로 인해 얼마나 오염되었는지는 퍼센티지를 나타낸다. 3번 층(Layer)이 가장 오염도가 높았고 반면에 14번 층(Layer)이 가장 오염도가 낮은 것을 확인할 수 있다.

Fig. 16

Percentage of area contaminated by soil for each layer

Fig. 17의 그래프는 Fig. 15의 상태에서 각 층(Layer)의 α를 나타낸 그래프다. 흙으로 오염된 부분인 0° ~ 40°, 280° ~ 360° 부분에서 산발적으로 데이터 누락이 발생한 것을 확인할 수 있다. 그리고 평균적으로 1481개의 데이터가 입력되었다.

Fig. 17

Alpha graph of LiDAR surface contaminated with soil

2.4.2 젖는 나뭇잎으로 오염된 LiDAR 입력데이터

Fig. 18은 LiDAR 표면이 젖은 나뭇잎으로 오염된 사진이다.

Fig. 18

LiDAR surface is contaminated with leaves

Fig. 19는 Fig. 18에서 층(Layer)마다 나뭇잎으로 인해 얼마나 오염되었는지는 퍼센티지를 나타낸다. 대체로 오염도는 비슷하였으나, 1번 층(Layer)이 가장 오염도가 높았고 반면에 14번 층(Layer)이 가장 오염도가 낮은 것을 확인할 수 있다.

Fig. 19

Percentage of area contaminated by leaves for each layer

Fig. 20의 그래프는 Fig. 18의 상태에서 각 층(Layer)의 α를 나타낸 그래프다. 오염된 부분인 10° ~ 100°, 280° ~ 340° 부분에서 데이터 누락이 발생되었다. 그리고 평균적으로 1127개의 데이터가 입력되었다.

Fig. 20

Alpha graph of LiDAR surface contaminated with leaves

3. LiDAR Data 구성변경

3.2 데이터 누락 검출

LiDAR 출력 데이터에서 ω를 사용하여 층(Layer) 마다 분류하였다. 그리고 α를 사용해서 데이터 누락 부분을 탐색했다. 데이터 누락이 없을 경우 600 rpm에서 α는 평균적으로 0.2°씩 증가한다. 하지만 데이터 누락이 발생하는 경우 α 이전 값보다 0.2°를 초과하여 증가하게 된다.

$\[ Alph{a}_{l,e}={Alpha}_{l,n}-Alph{a}_{l,n-1} \]$

(4)

l은 층(Layer), n은 Alpha가 입력된 순서, Alpha_{l, e} 는 Alpha_{l, n} 와 Alpha_{l, n-1}의 사잇각을 표현한다.

식 (4)를 이용하여 Alpha_{l, e}값이 0.3° 이상 출력 된다면 최소 하나 이상의 펄스 레이저가 소실된 것으로 판단했다. 데이터 누락의 시작지점은 Alpha_{l, n-1}, 종료지점은 Alpha_{l, n}로 저장된다.

Fig. 21은 실외 환경을 나타내며, 왼쪽에는 건물이 위치하고 오른쪽에서는 차량들이 주차되어 있다. 이 환경은 좌우에서의 데이터 누락이 현저히 줄어드나 전방은 펄스 레이저가 반사되어 돌아올 물체가 없어 데이터 누락이 발생할 수 있다.

Fig. 21

LiDAR data from the outdoor environment

Fig. 22의 Range-map의 경우 Fig. 21의 환경에서 입력되는 데이터를 사용했으며 데이터 누락 탐색 기준은 0.2°로 설정하였다. α 증가량이 평균적으로 0.2°를 초과하기 때문에 데이터 누락 탐색기준을 0.2로 설정 시 Fig. 22처럼 정상적인 입력에도 모든 행에서 동일한 지점마다 누락이라 판단하는 부분이 발생한다. 해당 현상은 데이터 누락이 아니기 때문에 탐색 기준을 올리는 것으로 제거하였다.

Fig. 22

Results of setting the detection value to 0.2

Fig. 23의 누락 탐색 기준 설정 값은 위에서부터 0.4°, 1°, 2°, 3°다. 설정 값이 커질수록 Fig. 23에서 나타나는 노이즈가 없어진 것을 확인할 수 있다. Fig. 23에서 가장 하단의 사진에서 파란색은 환경적 데이터 누락을 나타내며, 붉은색은 구조적 데이터 누락을 나타낸다. 이 중 실시간 연산을 위해 본 논문에서 탐색 기준값을 1°로 설정하였다.

Fig. 23

The results of setting the detection values in the order of 0.4, 1, 2, and 3°

해당 알고리즘을 사용하여 2.4절에서 설명한 LiDAR 표면을 흙과 젖은 나뭇잎으로 오염시킨 데이터를 시각화하였다.

3.2.1 흙으로 오염된 LiDAR 입력 데이터

Fig. 24는 2.4.1의 데이터 누락 부분을 Range-map의 형태로 시각화한 모습이다. Fig. 17의 그래프처럼 LiDAR의 0° ~ 40°, 280° ~ 360° 영역에서 산발적인 데이터 누락이 발생한 것을 확인할 수 있다

Fig. 24

Range-map of LiDAR contaminated with soil

3.2.2 젖은 나뭇잎로 오염된 LiDAR 입력데이터

Fig. 25는 2.4.2의 데이터 누락 부분을 Range-map의 형태로 시각화한 모습이다. Fig. 20의 그래프처럼 LiDAR의 10° ~ 100°, 280° ~ 340° 영역에서 데이터 누락이 발생한 것을 확인할 수 있다.

Fig. 25

Range-map of LiDAR contaminated with leaf

3.3 Bit-map 생성

한 주기의 입력에서 복합적인 데이터 누락이 발생하기 때문에 오염으로 인한 데이터 누락은 환경적, 구조적 요인의 데이터 누락을 필터링 후 확인할 수 있다. 이 과정을 Range-map으로 진행할 경우 다량의 데이터 연산이 필요하다. 효율적인 제거과정을 위해 본 논문에선 층(Layer)마다 360개의 Bit를 생성하였다. 1 bit에 α의 1°에 해당하는 영역을 할당하여 5개 입력 데이터 상태를 수반하게 된다. 이 중 하나의 데이터가 누락 되어도 해당 Bit에 1을 기입하였다.

Fig. 26에서 상단의 그래프는 Range-map을 하단의 그래프는 Bit-map을 나타낸다. 시각화 시 bit 값이 1인 영역을 노란색으로 표시한다. 1 bit에 수반되는 5개의 입력 데이터 중 1개만 누락이 되어도 해당 bit를 1로 표기하기 때문에 Range-map에서 작은 범위의 데이터 누락 부분이 Bit-map으로 변화되며 더 확장되는 것을 볼 수 있다. 이와 같은 형태로 구성할 경우 행을 늘리는 것으로 다양한 채널을 가지는 LiDAR에 바로 적용 가능하다.

Fig. 26

As a result of changing Range-map to bit-map

4. 환경적, 구조적 요인의 데이터 누락 제거

표면 오염이 아닌 환경적, 구조적 요인으로 발생하는 데이터 누락을 더 효율적으로 필터링하기 위해 Range-map을 Bit-map으로 변환하였다. 이 과정은 Fig. 27의 두 번째 과정이다. 그리고 이 장에선 4.1 과정을 통해 환경적 요인의 데이터 누락을 먼저 필터링하며 이는 Fig. 27의 3번째 과정이다. 그리고 생성된 Bit-map을 4.2 과정을 통해 구조적 요인의 데이터 누락을 필터링한다. 이 과정은 Fig. 27의 4번째 과정이다. 이후 5번째 그림처럼 환경적, 구조적 데이터 누락이 필터링된 데이터를 얻을 수 있다.

Fig. 27

Algorithm process

4.1 환경적 요인의 데이터 누락 필터

환경적 데이터 누락의 경우 차량이 주행하며 누락되는 위치가 지속해서 변한다는 특성을 가진다. Fig. 28은 환경적 데이터 누락이 필터링되는 과정을 나타내며 m번의 Sample-step마다 생성되는 Bit-map 중 하나의 층(Layer)만 표현하였다. 차량좌표계에서 데이터 누락을 유발하는 물체들의 위치는 자차가 움직이며 이동하게 된다. 이러한 현상은 LiDAR표면에서도 동일하게 적용되며 Fig. 28처럼 데이터 누락을 표시하는 1의 위치가 지속적으로 차량 이동 반대방향으로 이동한다는 특성이 있다.

Fig. 28

LiDAR data from external real roads

이러한 특성을 가지는 환경적 데이터 누락은 m번의 Sample-step동안 생성된 모든 Bit-map들을 AND연산하여 필터링을 할 수 있다. 이와 같은 과정을 통해 지속적으로 데이터 누락이 발생하는 영역만 남아있게 되고 누락된 영역에서 다시 데이터가 입력될 경우 바로 결과에 반영된다는 장점이 있다.

앞서 설명한 방법을 검증하기 위해 Fig. 29의 위치를 주행하며 왼쪽에 부착된 LiDAR 데이터를 사용하였다. 사각형 내부의 Pointcloud는 정차된 검은 색상의 차량이다.

Fig. 29

LiDARdata from external real roads

검은 색상의 차량은 데이터 누락을 유발하며 Fig. 30에서 10번의 Sample-step 동안 붉은색 사각형 안에서 차량 형태의 데이터 누락이 발생하였다.

Fig. 30

Consecutively entered bit-map for 20 sample-time

Fig. 31의 사진의 상단은 실시간으로 시각화되는 Range-map이다. 하단의 사진은 앞서 설명한 필터링 기법을 사용 후 최종적으로 출력되는 Bit-map의 결과다. Range-map에서 검은색 차량이 유발하는 환경적 데이터 누락이 필터링 이후 출력되는 Bit-map에서 제거된 것을 볼 수 있다.

Fig. 31

Bit-map filtered for data omission due to vehicle

4.2 구조적 요인의 데이터 누락 필터

LiDAR는 물체가 근접한 경우에도 데이터 누락이 발생하며 본 논문에서 사용된 Velodyne VLP-16 LiDAR의 경우 반경 50 cm 이내 물체가 있다면 해당영역에 데이터 누락이 발생한다. Fig. 32는 사람이 반경 50 cm이내에 손바닥을 피고 있는 모습이다. 따라서 손바닥과 머리모양의 형태로 데이터 누락이 발생하였다. 구조적인 요인의 데이터 누락도 환경적 요인처럼 오염에 의한 데이터 누락이 아니므로 해당 영역의 데이터 누락을 제거할 필요가 있다.

Fig. 32

Bitmap missing data in the shape of a person’s palm and face due to close distance

구조적 데이터 누락의 경우 차량에 한 번 장착하면 고정적인 영역에서 지속해서 데이터 누락이 발생한다. 이 특성을 이용하여서 데이터 누락 영역을 필터링하기 위해 구조적 데이터 누락의 정보를 포함하는 Bit-map(Fig. 33)을 생성한다. 이때 제거가 필요한 부분은 0, 나머지는 1을 넣어주어 구조적 데이터 누락을 제외한 데이터 누락은 유지해준다. 그리고 환경적 요인의 데이터 누락을 제거해준 Bit-map에 AND 연산하여 해당 부분을 제거해 주었다.

Fig. 33

Bit-map with structural data omission information

Fig. 34의 사진 상단의 그래프는 실시간으로 입력되는 값을 Range-map으로 시각화한 그래프다. 하단의 Bit-map은 환경적 데이터 누락을 필터링한 후 AND 연산을 통해 구조적 데이터 누락을 제거한 데이터를 시각화한 그래프다. 최종적으론 장착 어댑터로 발생한 구조적 데이터 누락과 주변 사물로 인한 환경적 데이터 누락이 제거된 것을 확인할 수 있다.

Fig. 34

Bit-map with environmental and structural data omission removed

5. 오염 판정

5.1 오염 판정영역 생성

환경적 데이터 누락을 최대한 제거했음에도 도심지가 아닌 개방된 공간에서 하늘 또는 평지로 데이터 누락이 Fig. 34처럼 고정적인 영역에서 지속적으로 발생하였다. 이러한 데이터 누락 영역을 고려하지 않고 오염도를 판단할 경우 LiDAR가 실제 오염이 되지 않음에도 불구하고 LiDAR의 표면이 오염되었다고 잘못된 판정할 위험이 있다. 따라서 본 논문에서 모든 필터링 과정을 거친 후에도 남이있는 데이터 누락영역이 오염으로 발생한 누락인지 확인하기 위해 환경적 특성을 반영한 두 개의 기준값을 사용하여 판별하는 방법을 적용하였다.

Fig. 35에서 Max와 Mean은 다음과 같이 정의하였다. LiDAR가 오염되지 않은 상태에서 지정된 경로를 3회 주행하며 Fig. 35의 하단 사진처럼 층(Layer)마다 필터링 이후에도 남아 있는 데이터 누락의 총합을 Sample-time마다 평균을 계산한 것이 Mean이다. Max는 층(Layer)마다 필터링 이후에도 남아 있는 데이터 누락의 총합이 해당 경로를 주행하는 동안 최대인 값이다. Mean과 Max는 LiDAR의 층(Layer) 수만큼 생성된다.

$\[ margin=\text{max}+\left(\text{max}-mean\right)/2 \]$

(5)

Fig. 35

Mean and maximum values of environmental data missing after filtering

Max를 사용하여 오염도를 10단계를 생성할 경우 앞서 설명한 것처럼 하늘과 넓은 평지로 인해 발생하는 데이터 누락으로 인해 오염이라 잘 못 판단하는 경우가 발생한다. 그래서 Mean과 Max 값을 식 (5)를 사용해 Fig. 35처럼 층(Layer)마다 Margin을 생성하였다. Margin은 Max 값 위에 추가적인 오염도 단계를 생성하기 위해 사용된다. 하지만 환경적 변화가 큰 지역 예를 들어 다량의 건물이 분포된 지역과 넓은 평지가 공존하는 지역에선 Margin이 불안하게 생성되는 현상이 있다. 이러한 경우는 두 지역을 나누어서 Margin을 생성해야 한다.

$\[ { level}_{st }=\left(margin - mean\right)\left({ level}_{conta }-1\right)/9+ mean \]$

(6)

식 (6)은 층(Layer)마다 10개의 오염도 판정영역을 생성하기 위한 공식이다. 식 (6)에서 level_conta는 층(Layer)의 오염도를 1에서 10 사잇값으로 수치화하여 표현하는 변수이며, level_st는 1에서 10까지의 등급에 해당하는 Deg값을 나타낸다. 해당 층(Layer)의 Mean, Max를 식 (6)에 대입하고 level_conta에 1에서 10을 순차적으로 넣어 연산을 진행한다.

Table 1처럼 하나의 층(Layer)에서 오염도 판정영역을 나타내는 각 단계의 기준값이 연속적으로 level_st에 산출된다. 해당 기준값은 Table 1에서 6번의 층(Layer)에선 level_conta에 1을 넣어 오염도 판정영역이 level 1에선 0 그리고 level_conta에 2를 넣어 level 2에선 0.5가 나온 것을 볼 수 있다.

Table 1

Result of formula (6)

Fig. 36은 Table 1을 그래프로 표현한 것이다. 지면을 향하는 층(Layer)에서 하늘을 향하는 층(Layer)로 변하는 7번, 8번 층(Layer)에서 급격하게 상승한 오염도 판정영역이 생성된 것을 확인할 수 있다. 이는 환경과 차량의 구성에 따라 유동적으로 오염도 판정영역이 생성된다는 것을 알 수 있다.

$\[ { level}_{conta }=9\left(x- mean\right)/\left(margin - mean\right)+1 \]$

(7)

Fig. 36

Contamination determining area

식 (7)의 x는 각 Sample-time마다 생성되는 층(Layer)마다의 데이터 누락의 총합이다.

차량이 주행하며 Sample-time마다 LiDAR 데이터를 Fig. 27을 통해 필터링한다. 이후 남아 있는 층(Layer)마다 데이터 누락의 총합을 식 (7)의 x에 넣어주게 되면 level_conta에 1 ~ 10 사잇값이 출력된다. 이 과정을 통해 모든 층(Layer)마다 오염도가 출력되며 그중 가장 높은 값을 추출하여 실시간으로 LiDAR의 표면 상태를 확인한다. 본 논문에서 사용한 Velodyne VLP-16 LiDAR는 총 16층(Layer)로 구성되어 있어 지정된 경로를 3번 주행하며 Mean, Max, Margin, 오염도 판정영역을 생성하였다. 이후 오염도를 판정하는 식 (7) 공식에 해당 층(Layer)값으로 생성한 Mean과 Margin을 넣어 16개의 층(Layer)마다 오염도를 판정하였으며 출력되는 16개의 level_conta값 중 가장 높을 값을 사용하여 LiDAR 전체의 오염도를 나타내었다.

level_conta이 1 ~ 4인 경우는 지정된 경로에서 환경적 오염이 적은 도심지에서 주로 발생하는 부분이고 5 ~ 8은 개방된 환경에서 발생할 수 있는 영역이다. 9 ~ 10은 환경적 요소를 포함하는 Max 값 이상 데이터 누락이 발생하여 LiDAR 표면이 오염된 상태로 나누어진다.

Table 2

Contamination Level

5.2 장착 위치에 따른 오염도 판정 기준 변화

LiDAR를 차량에 장착 시 차량 여러 부분에 다양한 각도로 LiDAR가 장착된다. 센서의 Tilting 각도와 관계없이 알고리즘이 동작되는지 검증하기 위해서 0°, 30°, 60°, 90°의 Tilting을 지원하는 장착 어댑터(Fig. 37)를 설계 후 3D프린터로 출력했다.

Fig. 37

Adjustable LiDAR mounting adapter

Tilting이 0°인 루프탑 그리고 문 외부에 장착하여 60°, 30° 상태일 때 데이터를 취득 후 오염도 판정영역을 확인해 보았다.

Table 3의 조건에서 실험을 진행하였다. 총 5개의 Bit-map을 AND 연산하였으며 오염도 누락 탐색 기준은 1°이다. 장착 어댑터로 인해 발생하는 구조적 데이터 누락 범위는 80° ~ 240°이다.

Table 3

Loop-top setting

Fig. 38

Mounting loop top

오염도 판정영역 생성에서 루프탑 장착과 Tilting이 있는 장착에서 큰 차이를 보여준다. 루프탑의 경우 장착 위치로 하늘의 영향을 받게 되어 오염도 판정영역(Fig. 39)이 비교적 큰 값으로 생성되었다. 하지만 Tilting이 있는 장착의 경우 환경적 영향이 줄어들어 오염도 판정영역(Fig. 41, Fig. 43)이 거의 0에 근접한 것을 확인할 수 있다. 이와 같이 장착 조건에 따라 그에 적합한 오염도 판정영역이 생성되는 것을 확인할 수 있으며 이와 같은 오염도 판정영역이 생성되면 더 민감한 오염도 판정을 할 수 있게 된다.

Fig. 39

Loop top contamination determining area

Fig. 40

Mounting tilting 30°

Fig. 41

Tilting 30° contamination determining standard

Fig. 42

Mounting tilting 60°

Fig. 43

Tilting 60° contamination determining standard

6. 실 험

실제 주행하며 LiDAR 오염을 판단하기 위해 소형전기자동차 D2(Fig. 44)를 사용하였다. LiDAR 장착 위치는 양 사이드미러이다.

Fig. 44

D2 vehicle

Table 4의 조건에서 실험을 진행하였다. 2개의 LiDAR를 사용했으며 오염도 탐색 기준은 1°로 설정했다. 그리고 5개의 Bit-map을 AND 연산했으며 왼쪽의 LiDAR는 130° ~ 256°, 오른쪽의 LiDAR는 270° ~ 40°의 영역에서 구조적 요인의 데이터 누락이 발생한다.

Table 4

Algorithm setting

주행지역은 경일대학교 캠퍼스(Fig. 45) 내부를 3번 주행하며 오염도 판정영역을 생성했다. 해당 지역은 주로 개방된 영역이 분포되어 있다.

Fig. 45

Campus of Kyungil university LiDAR

생성된 오염도 판정영역은 Figs. 46, 47과 같다. 하늘로 인해 상위층(Layer)으로 갈수록 오염도 판정영역이 증가하였다. 이와 같이 오염도 판정영역을 생성 후 표면이 오염되지 않은 상태로 주행하다 표면을 오염시켜 level_conta값이 9 이상 10 이하의 값이 출력되는지 확인하였다.

Fig. 46

Contamination determining standard of left LiDAR

Fig. 47

Contamination determining standard of right LiDAR

실시간으로 데이터가 시각화 되는 Viewer의 구성은 Fig. 48과 같다. 2개의 LiDAR용으로 세팅되어 있고 상단에는 실시간으로 입력되는 LiDAR의 데이터를 Range-map으로 출력되고 하단에는 본 논문의 알고리즘의 결과인 Bit-map이 위치하여 한 쌍의 시각화 그래프를 양 사이드에 구성하였다. 그리고 각 Map의 세로축은 층(Layer)를 가로축은 Degree를 나타낸다. 그리고 Range-map 상단에 1 ~ 10사이의 오염도 판정 결과 값이 출력된다. 이외 배경에서 Pointcloud가 시각화 된다.

Fig. 48

Viewer setting

Fig. 49는 표면이 오염되지 않은 상태로 실시간으로 시각화되는 모니터 사진이다. Bit-map에 데이터 누락이 남아 있지만 오염도 판정영역의 값을 충족하지 못했기 때문에 Level이 1로 표시된다.

Fig. 49

Clean status real-time visualization

Fig. 50은 좌측의 LiDAR 표면이 절연 테이프로 오염된 상태로 주행하며 실시간으로 시각화되는 모니터 사진이다. LiDAR에서 오염된 위치는 Fig. 50의 왼쪽 그래프에서 빨간색 사각형이 그려진 부분이다.

Fig. 50

Contamination status Real-time visualization

Fig. 51은 Fig. 50의 오염된 왼쪽 LiDAR의 Bit-map이며, 누락된 원인에 따라 색상을 표기하였다. 파란색은 환경적 요인으로 인한 데이터 누락을 나타내며, 초록색은 오염으로 데이터 누락을 나타낸다. 오염으로 인한 데이터 누락이 전체 층(Layer)에 분포되어 있으며, 필터링 이후에 남아 있는 환경적 데이터 누락도 상위 층(Layer)에 주로 남아 있는 것을 확인할 수 있다. 이 환경적 데이터 누락의 경우 하늘로 인해 발생하였다.

Fig. 51

Bit map of contaminated left LiDAR

Fig. 52는 Fig. 51의 Bit-map에서 층(Layer) 마다 누락된 데이터의 누적한 값(Omission sum)을 Fig. 47에 투영한 그래프다. 층(Layer) 마다 생성된 오염도 판정영역 보다 누락된 데이터의 값이 큰 경우가 발생하였으며, 11, 13, 14, 15, 16층(Layer)을 제외하곤 level_conta가 10이 나온다는 것을 확인할 수 있다.

Fig. 52

Output value of the contamination determination

개방된 지역에서 실험을 진행하여 상위 층(Layer)에선 오염이 되어도 오염도 판정영역을 충족하지 못하는 경우가 발생하였다. 하지만 해당 알고리즘은 LiDAR 전체를 오염을 통합적으로 판정하는 것이 아닌 층(Layer)마다 오염을 판정함으로 이러한 문제점을 보완할 수 있었다.

Fig. 53은 주행하며 2개의 LiDAR에서 층(Layer) 마다 생성되는 level_conta 중 최댓값을 시각화한 그래프다. 왼쪽 LiDAR를 217.5 s에 오염시켜 0.4 s 후 인 217.9 s부터 오염도 판정 값이 10이 출력되었다. 그리고 Bit-map 특성으로 인해 오염원을 제거한 261.1 s부터 바로 오염도 판정 값이 3으로 떨어진 결과를 확인할 수 있다.

Fig. 53

Output value of the contamination determination

Fig. 54는 알고리즘의 실행시간을 측정한 그래프이다. 12세대 i7-12650H CPU, 16 GB인 노트북에서 16층(Layer) LiDAR 2개를 하나의 Thread에서 실행한 결과 실행시간은 평균적으로 0.0047 s로 측정되었다.

Fig. 54

Execution time of the contamination determination algorithm

7. 결 론

본 논문에서는 차량의 거동 중 실시간 LiDAR 표면 오염 여부를 판단하는 방법에 대해 제안했다.

실제 LiDAR 표면이 오염으로 데이터 누락의 정도를 확인하기 위하여 구조적, 환경적 데이터 누락을 필터링해 주었다. 하지만 하늘과 같이 광범위하게 데이터를 누락시키는 요인으로 인해 오염도 판정영역을 생성 후 남아있는 데이터 누락이 실제 오염인지 환경적 데이터 누락인지 추가적인 판단을 거친 후 1 ~ 10의 단계로 결과를 출력해 주었다. 실험을 통해 LiDAR 표면에서 오염이 발생한 경우 9 ~ 10의 값이 출력되는 걸 확인하였다.

하나의 LiDAR에서 각 층(Layer)의 표면 상태를 판단하였으며, 추후 연구에선 LiDAR 표면 중 오염된 영역을 구체적인 α와 층(Layer)를 확인 및 추적할 수 있을 거라고 예상하며 클리닝 시스템을 적용하여 본 연구를 발전시킬 수 있을 것이다.

본 연구를 통해 자율주행차량 및 LiDAR를 탑재한 차량에 LiDAR 표면 오염으로 인한 사고에 예방에 기여할 것으로 기대된다. 또한 레벨 4이상 자율주행 MRC(Minimal Risk Condition) 구체화에도 적용가능할 것으로 예상된다.

Acknowledgments

본 연구는 산업통상자원부와 한국산업기술진흥원이 지원하는 지역산업 인프라 및 R&D지원 프로그램(P0018599)와 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터지원사업의 연구결과(IITP-2023-2020-0-01808)로 수행되었음.

References

• J. Jeong and S. Kee, “Real-time Object Behavior Prediction Based on Suitable for LiDAR for Urban Autonomous Driving,” Transactions of KSAE, Vol.30, No.7, pp.589-598, 2022. [https://doi.org/10.7467/KSAE.2022.30.7.589]
• J. Seo, S. Oh and Y. Kim, “A Study of Curve Lane Detection Based on Dual Sensor Monitoring of LiDAR and Camera,” Transactions of KSAE, Vol.29, No.2, pp.197-204, 2021. [https://doi.org/10.7467/KSAE.2021.29.2.197]
• J. K. James, G. Puhlfürst, V. Golyanik and D. Stricker, “Classification of Lidar Sensor Contaminations with Deep Neural Networks,” Computer Science in Cars Symposium Proceedings, pp.8-16, 2018.
• M. Trierweiler, T. Peterseim and C. Neumann, “Automotive LiDAR Pollution Detection System Based on Total Internal Reflection Techniques,” Light-Emitting Devices, Materials, and Applications XXIV, Vol.11302, pp.135-144, 2020. [https://doi.org/10.1117/12.2538416]
• R. H. Rasshofer, M. Spies and H. Spies, “Influences of Weather Phenomena on Automotive Laser Radar Systems,” Advances in Radio Science Vol.9, pp.49-60, 2011. [https://doi.org/10.5194/ars-9-49-2011]
• A. Filgueira, H. González-Jorge, S. Lagüela, L. Díaz-Vilariño and P. Arias, “Quantifying the Influence of Rain in Lidar Performance,” Measurement, Vol.95, pp.143-148, 2017. [https://doi.org/10.1016/j.measurement.2016.10.009]
• R. Heinzler, P. Schindler, J. Seekircher, W. Ritter and W. Stork, “Weather Influence and Classification with Automotive Lidar Sensors,” IEEE Intelligent Vehicles Symposium (IV), pp.1527-1534, 2019. [https://doi.org/10.1109/IVS.2019.8814205]
• T. Fersch, A. Buhmann, A. Koelpin and R. Weigel, “The Influence of Rain on Small Aperture Lidar Sensors,” German Microwave Conference (GeMiC), pp.84-87, 2016. [https://doi.org/10.1109/GEMIC.2016.7461562]
• S. Son and C. Ahn, “Denoising LiDAR Point Cloud Using Higher Order Singular Value Decomposition in Adverse Weather Condition,” KSAE Spring Conference Proceedings, p.435, 2021.
• Y. Kim, W. Jang, K. Lee, H. Jang and E. Kim, “Research of the Effect of Adverse Weather Conditions on LiDAR Sensors,” KSAE Spring Conference Proceedings, pp.417-420, 2021.
• H. Kurihata, T. Takahashi, I. Ide, Y. Mekada, H. Murase, Y. Tamatsu and T. Miyahara, “Rainy Weather Recognition from In-vehicle Camera Images for Driver Assistance,” IEEE Proceedings. Intelligent Vehicles Symposium, pp.205-210, 2005. [https://doi.org/10.1109/IVS.2005.1505103]
• C. Dannheim, C. Icking, M. Mäder and P. Sallis, “Weather Detection in Vehicles by Means of Camera and LIDAR Systems,” IEEE Sixth International Conference on Computational Intelligence, Communication Systems and Networks, pp.186-191, 2014. [https://doi.org/10.1109/CICSyN.2014.47]
• J. Xian, D. Sun, W. Xu, Y. Han, J. Zheng, J. Peng and S. Yang, “Urban Air Pollution Monitoring Using Scanning Lidar,” Environmental Pollution, Vol.258, Paper No.113696, 2020. [https://doi.org/10.1016/j.envpol.2019.113696]
• J. Yuan, Y. Wu, Z. Shu, L. Su, D. Tang, Y. Yang, J. Dong, S. Yu, Z. Zhang and H. Xia, “Real-Time Synchronous 3-D Detection of Air Pollution and Wind Using a Solo Coherent Doppler Wind Lidar,” Remote Sensing, Vol.14, No.12, Paper No.2809, 2022. [https://doi.org/10.3390/rs14122809]
• Y. D. Barrera, T. Nehrkorn, J. Hegarty, M. Sargent, J. Benmergui, E. Gottlieb and T. Jones, “Using Lidar Technology to Assess Urban Air Pollution and Improve Estimates of Greenhouse Gas Emissions in Boston,” Environmental Science & Technology, Vol.53, No.15, pp.8957-8966, 2019. [https://doi.org/10.1021/acs.est.9b00650]
• Y. Zhang, S. Chen, S. Chen, H. Chen and P. Guo, “A Novel Lidar Gradient Cluster analysis Method of Nocturnal Boundary Layer Detection During Air Pollution Episodes,” Atmospheric Measurement Techniques, Vol.13, No.12, pp.6675-6689, 2020. [https://doi.org/10.5194/amt-13-6675-2020]
• P. Sallis, C. Dannheim, C. Icking and M. Maeder, “Air Pollution and Fog Detection through Vehicular Sensors,” 8th Asia Modelling Symposium IEEE, pp.181-186, 2014. [https://doi.org/10.1109/AMS.2014.43]