The Korean Society Of Automotive Engineers

Current Issue

Transactions of the Korean Society of Automotive Engineers - Vol. 32 , No. 3

[ Article ]
Transactions of The Korean Society of Automotive Engineers - Vol. 27, No. 1, pp. 47-54
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Jan 2019
Received 12 Jul 2018 Revised 03 Sep 2018 Accepted 10 Sep 2018
DOI: https://doi.org/10.7467/KSAE.2019.27.1.047

고속도로 정밀 측위를 위한 차선 끝점 검출 방법 및 성능 평가 자동화
장은석1) ; 서재규2) ; 정호기*, 1)
1)한국교통대학교 전자공학과
2)세종대학교 지능기전공학부

Lane-end-point Detection and Automated Performance Evaluation for Vehicle Localization on the Highway
Eun Seok Jang1) ; Jae Kyu Suhr2) ; Ho Gi Jung*, 1)
1)Department of Electronic Engineering, Korea National University of Transportation, Chungbuk 27469, Korea
2)School of Intelligent Machatronics Engineering, Sejong University, Seoul 05006, Korea
Correspondence to : *E-mail: hogijung@ut.ac.kr


Copyright Ⓒ 2019 KSAE / 158-01
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼

Abstract

Recently, there were studies on various landmark-based vehicle localizations in which a monocular camera and a precise map were used. Among the different landmarks, a lane is one of the most useful for vehicle localization. Currently, we are developing a lane end-point detection system to enhance longitudinal and lateral precision simultaneously. To verify this algorithm, performance evaluation is necessary. Although manual evaluation is generally used, it requires so much time to assess large volumes of data. To address this problem, the automated PES(Performance Evaluation System) is needed. In the image and bird's eye view coordinate systems, it is hard to set a fixed threshold because the perspective effect has different properties along the vertical and horizontal axes of the image. In this paper, the properties of each perspective effect are analyzed separately, and the threshold is set, based on it. As a result, the proposed automated PES shows almost the same recognition rate as that of manual evaluation.


Keywords: Vehicle localization, Landmark-based localization, Lane-end-point detection, Performance evaluation system, Perspective effect
키워드: 차량 측위, 랜드마크 기반 측위, 차선 끝점 검출, 성능 평가 시스템, 원근 효과

1. 서 론

차량의 위치를 추정하는 측위 기술은 자율주행자동차와 첨단운전자보조시스템(ADAS)에 필수적인 기술이다.1) 정확한 측위 결과는 주변 환경 인식과 차량 제어의 성능을 향상시킨다. 가장 대표적인 측위 방식인 전파항법 방식은 전역 위치를 얻을 수 있고, 오차가 누적되지 않는 장점이 있는 반면, 전파 수신 상황에 따라 위치 정밀도가 좌우되는 한계를 가진다.2) 일반적으로 이러한 한계를 보완하기 위해 관성항법 방식을 함께 사용한다. 이 방식은 전파 수신 상황에 무관하며 짧은 주행 거리에서 정밀한 상대 위치를 제공한다는 장점을 갖지만, 시간이 지속됨에 따라 오차가 누적된다는 한계를 가진다.3) 이들 방법의 한계를 극복하기 위하여 최근 센서 융합 시스템을 기반으로 한 랜드마크 기반 측위에 대한 연구가 활발하게 진행되고 있다.3-12) 일반적으로 랜드마크 기반 측위 시스템은 전파항법, 관성항법과 함께 환경 인식 센서와 정밀지도를 융합하여 측위를 수행한다. Fig. 1은 랜드마크 기반 측위의 원리를 나타낸다. 먼저, 왼쪽 그림과 같이 단안 카메라로 랜드마크를 검출하고, 검출된 랜드마크의 자차에 대한 상대 위치를 측정한다. 이후, 오른쪽 그림과 같이 측정된 상대 위치와 정밀 지도에 저장된 랜드마크의 전역 위치를 통합하여 자차의 전역 위치를 추정한다.4)


Fig. 1 
Landmark-based localization

이러한 연구에 사용되는 랜드마크 중 노면 표시는 환경 인식 센서에서 쉽게 검출 가능하고, 지도에 저용량으로 저장할 수 있기 때문에 랜드마크 기반 정밀 측위에 널리 사용되고 있다. 특히, 노면 표시 중 차선은 LDWS(Lane Departure Warning System), LKAS(Lane Keeping Assistant System) 등을 통해 대중적으로 활용되고 있으며, 정밀 측위를 위한 활용도가 매우 높아 가장 보편적으로 사용되는 랜드마크이다.7-9) 차선은 정밀한 횡방향 위치 정보를 제공한다는 장점을 갖는 반면 종방향 위치 정보를 충분히 제공하지 못한다는 한계를 갖는다. 이를 보완하기 위해 정지선, 횡단보도표시, 화살표시, 글자 등의 노면표시를 함께 사용하는 방법들이 제안되어왔다.10-12)

다양한 노면표시가 존재하는 시내 상황에서는 이러한 방법을 적용할 수 있으나, 고속도로 상황에서는 정지선, 횡단보도가 거의 존재하지 않고, 화살표 및 글자도 출현 빈도가 매우 낮다. 실제로 본 논문에서 획득한 약 40 km 구간의 고속도로 주행 영상을 분석한 결과, 정지선과 횡단보도는 존재하지 않았으며, 화살표시 및 글자는 전체 획득 영상의 약 3 %에서만 관찰되었다. 또한, 이들은 주로 분기점에 밀집되어 분포하였으며 연속적으로 관찰되지 않는 구간은 최대 약 7.8 km에 달했다. 반면, 차선 끝점의 경우 전체 영상의 약 88 %에서 관찰되었으며, 연속적으로 관찰되지 않는 구간은 최대 약 1.7 km였다. 실험 구간에서의 차선 끝점 및 기타 노면표시(RSM, Road Surface Marking)의 분포는 Fig. 2와 같다.


Fig. 2 
Distribution of landmark on an example highway

이러한 고속도로 상황에서 차선 끝점은 특정한 위치를 나타내기 때문에 횡방향과 종방향 위치 정보를 모두 제공한다. 이에 우리는 Top-hat filter 및 RANSAC(RAndom SAmple Consensus), HOG(Histogram of Oriented Gradient)-SVM(Support Vector Machine)을 이용한 전방 단안카메라 기반의 차선 끝점 검출 알고리즘을 구현하고 있다.

차선 끝점 검출 알고리즘의 정상 작동 여부와 신뢰도를 검증하기 위해서는 성능 평가를 거쳐야 하며, 이를 위해 인식률 평가가 필요하다. 차선 끝점 검출 알고리즘과 같은 영상 기반 알고리즘은 인식 결과 영상을 육안으로 직접 관찰하는 인식률 평가 방법을 주로 사용한다. 이는 평가자가 경험적으로 결과 영상의 다양한 변수들을 고려하게 되므로 신뢰도가 높은 인식률 평가가 가능하기 때문이다. 하지만 육안 평가 방법은 평가 대상의 규모에 따라 필요한 인적, 시간적 제약이 존재하므로 성능 평가 시스템을 자동화하여 이를 개선할 필요가 있다.13-15)

차선 끝점 검출 알고리즘의 성능 평가 시스템을 자동화하기 위해서는 차선 끝점의 인식 결과와 GT(Ground truth)의 정확한 매칭 여부를 판단하는 인식률 평가 기준을 설정해야 한다. 영상 좌표계 상의 고정 임계치를 기준으로 설정할 경우, 영상의 각 Pixel마다 조감도 좌표계 상의 환산거리가 다르기 때문에 인식률 평가의 신뢰도가 떨어진다.16) 반대로 조감도 좌표계 상의 고정 임계치를 적용할 수 있으나, 실험 결과 신뢰도가 낮은 인식률 평가 결과를 보이는 것을 확인하였다. 이는 조감도 좌표계 상의 선분이 카메라와의 상대 위치에 따라 다양한 영상 상의 선분으로 관찰될 수 있기 때문이다.

이를 해결하기 위해 본 논문에서는 인식된 차선 끝점과 GT 사이의 오차에 Perspective 효과를 적용하여 계산한 조감도 좌표계 상의 환산 거리의 특성을 영상 좌표계의 수직/수평 방향으로 분해하여 분석하고, 이를 토대로 조감도 좌표계 상의 새로운 인식률 평가 기준을 제안하였다.19) 실험 결과, 제안된 방법을 통해 자동화한 성능 평가 결과가 육안 성능 평가 결과와 매우 유사하게 나타나는 것을 확인하였다.


2. 차선 끝점 검출 알고리즘

차선 끝점 검출 알고리즘은 차선 인식 및 이를 기반으로 한 차선 끝점 인식 과정으로 구성되며, 전체 구성은 Fig. 3과 같다.


Fig. 3 
Flowchart of lane-end-point detection

2.1 차선 검출

차선을 검출하기 위해 주행 차로의 좌/우 차선으로 예상되는 영역에 Gating을 지정하고, 영상의 각 행 별 밝기 값에 Top-hat filter를 통과시킨다. Filter response는 기준 Pixel의 좌/우 일정 범위의 밝기 값 평균의 차이로 차선인지 여부를 판별하는데, 해당 연산을 간소화하기 위해 밝기 값의 Horizontal integral image를 사용하여 밝기 값의 평균 계산에 사용되는 반복적인 덧셈을 생략하였다.12)

Top-hat filter를 통해 추출한 차선 후보 점들에 RANSAC을 적용하여 좌/우 차선 당 2개의 직선을 추출하며, Pair score를 계산하여 최적의 차선 한 쌍을 최종 차선으로 검출한다. Pair score는 Table 1과 같이 구성되며, 각 Score는 0~1의 범위로 정규화 하였다.

Table 1 
Pair score
Score Related index
Heading Parallelism between optical axis of camera and detected lane
Width Correspondence between detected lane width and road regulations
Parallel Parallelism between two lines of detected lane
Consensus Consensus number of RANSAC results

좌/우 차선이 검출되면 두 차선의 Vanishing point를 계산하고, 직전 영상의 Vanishing point와 위치 오차가 임계치 이하인 상황이 3회 이상 연속되어야 최종적으로 유효한 차선으로 검출한다. 차선 검출 과정은 Fig. 4와 같다.


Fig. 4 
Lane detection

2.2 차선 끝점 검출
2.2.1 차선 끝점 후보 생성

차선이 검출되면, Fig. 5와 같이 검출된 차선을 따라 차선의 Profile을 생성한 후, Profile의 Edge를 검출하여 차선 끝점 후보를 생성한다. 차선 끝점 후보를 생성하는 과정은 다음과 같다.


Fig. 5 
Extraction of lane-end-point candidates

  • 1) 검출된 차선을 따라가면서, 검출된 차선 위치의 점과 좌/우 인접한 Pixel을 포함한 총 3-Pixel의 Top-hat response 중 최대값을 모아 각 행 별 Top-hat profile을 생성한다.
  • 2) Profile의 최대값은 40, 최소값은 0이 되도록 Clipping하고, Median filter를 사용하여 Smoothing한다. 이를 통해 차선 끝점 이외의 구간에서 발생하거나, 크기가 작은 Edge들이 후보로 검출되는 것을 방지한다.
  • 3) 각 Top-hat profile을 미분한 후 그 절대값이 임계치 이상인 Local peak들을 탐색하여 Edge로 검출한다.
  • 4) 검출된 Edge들에 NMS(Non-Maximum Suppression)을 적용하여 간소화한 후 최종 차선 끝점 후보로 사용한다. NMS의 Confidence는 Peak의 크기로 적용하였으며, 탐색 영역은 도로 내 점선의 다양한 길이를 고려하여 1 m 반경으로 설정하였다.
2.2.2 차선 끝점 후보 검증

검출된 차선 끝점 후보들은 HOG-SVM을 통해 검증한다.17,18) 각 차선 끝점 후보들의 위치를 중심으로 주변 Pixel의 밝기 값을 포함한 1 m × 2 m 크기의 조감도를 형성한 후, HOG feature를 추출한다. 추출된 Feature들은 각각 2-class linear-SVM을 적용하여 검증한다. 학습한 SVM parameter들을 이용하여 각 Feature들의 SVMscore를 도출하며, Score가 양수일 경우 최종 차선 끝점으로 인식한다. 차선 끝점 후보 검증 과정은 Fig. 6과 같다.


Fig. 6 
Verification of lane-end-point candidates

SVMscore식 (1)과 같이 계산되며, 각 Parameter들은 Table 2와 같다. HOG feature의 Size인 n은 1,980이며, Support vector의 개수 m은 평균 410개이다.

SVMscore=HOGsvTcoe f-b(1) 
Table 2 
Parameters of scoring function
Parameters Size
HOG : HOG feature vector 1 × n
sv : Support vectors m × n
coe f : Lagrange multipliers m × 1
b : Trained bias scalar

식 (1)T ∙ coe f  연산은 많은 곱하기 연산을 필요로 한다. 사용된 Linear-SVM의 학습된 Parameter인 coe f 는 Fixed value이므로 두 행렬 곱은 알고리즘의 초기 단계에서 미리 계산할 수 있다. 이런 방법을 적용하여 식 (2)Table 3과 같이 Scoring function의 연산량을 약 99 % 단축하였다.

SVMscore=HOGw-b(2) 
Table 3 
Parameters of reduced scoring function
Parameters Size
HOG : HOG feature vector 1 × n
w : (T ∙ coe f ) n × 1
b : Trained bias scalar

2.3 차선 끝점 상대 위치의 오차 분석

차선 끝점의 자차에 대한 상대 위치는 카메라 보정을 통해 미리 획득한 카메라의 내부, 외부 파라미터를 사용하여 계산되며, 카메라로부터의 종방향(광축과 평행)과 횡방향(광축과 수직) 상대 거리로 구성된다. 이때, 단안 카메라는 바늘구멍 사진기 모델을 따른다고 가정하였다.

차선 끝점의 위치(u,υ)에 대한 종방향 환산 거리는 식 (3)Z와 같이 계산된다. 이때, 검출된 차선 끝점으로부터 수직 방향으로 1 Pixel의 오차를 가질 경우, 종방향 환산 거리는 식 (3)Z 와 같이 계산된다. 따라서, 수직 방향 1 Pixel 오차의 종방향 환산거리 ΔZ식 (4)와 같이 유도된다. υ는 검출 결과의 수직 방향 Pixel 좌표이며, fυ, Oυ는 각각 영상의 수직 방향 초점거리와 수직 방향 중심 위치를 의미한다. Hp, Hc는 각각 차선 끝점과 카메라의 지면으로부터의 높이를 의미한다. 식 (4)에서 Hp = 0으로 가정되므로, (Hp - Hc)는 음수 값을 가진다. 따라서, ΔZ는 카메라와 차선 끝점의 종방향 거리 Z의 제곱에 비례하는 것을 알 수 있다.

Z=fυHp-Hcυ-oυ, Z'=fυHp-Hcυ+1-oυ(3) 
ΔZ=Z'-Z=-Z2fυHp-Hc+Z(4) 

차선 끝점의 Pixel 위치(u,υ)에 대한 횡방향 환산 거리는 식 (5)X와 같이 계산한다. 이때, 검출된 차선 끝점으로부터 수평 방향으로 1 Pixel의 오차를 가질 경우의 횡방향 환산 거리는 식 (5)X 와 같이 계산된다. 따라서, 수평 방향 1 Pixel 오차의 횡방향 환산거리 ΔX식 (6)과 같이 유도된다. u는 검출 결과의 수평 방향 Pixel 좌표이며, fu, Ou 각각 영상의 수평 방향 초점거리와 수평 방향 중심 위치를 의미한다. 따라서, ΔX는 카메라와 차선 끝점의 종방향 거리 Z에 비례하는 것을 알 수 있다.

X=Zu-Oufu, X'=Zu+1-Oufu(5) 
ΔX=X'-X=Zfu(6) 

식 (4)(6)을 통해 검출된 차선 끝점의 수직, 수평 방향 1 Pixel 오차의 종, 횡방향 환산거리는 차선 끝점의 종방향 거리 Z에 따라 서로 다른 경향을 보이는 것을 알 수 있다. 또한, 종, 횡방향 환산거리 오차는 카메라 초점거리와 설치 높이에도 의존하기 때문에, 차선 끝점의 상대 위치를 측위에 활용하기 위해선 카메라의 내부, 외부 파라미터와 끝점의 종방향 위치에 따른 오차의 크기에 따라 신뢰도를 설정해야 한다.


3. 성능 평가 기준: 육안 성능 평가

차선 끝점 검출 알고리즘의 평가를 위해 약 40 km 구간의 고속도로(호법JC→서울TG)를 주행하여 차량 전방 카메라의 영상을 확보하였으며, 이 중 Random하게 선정한 600장의 영상을 평가에 사용하였다. 또한, 주행 구간에서 가장 빈번하게 나타나는 점선(점선 길이 8 m, 점선 간 간격 12 m)의 차선 끝점을 평가 대상으로 선정하였다. 차선 끝점의 GT는 알고리즘이 인식할 것으로 예상되는 Pixel 위치를 수동으로 입력하였다. 총 600장의 평가 영상에서 1,504개의 GT를 확보하였으며, 평가 대상으로 지정한 차선 끝점의 각 Type과 인식 결과는 Fig. 7과 같다. LWB는 왼쪽 차선의 위쪽 끝점, LBW는 왼쪽 차선의 아래쪽 끝점, RWB는 오른쪽 차선의 위쪽 끝점, RBW는 오른쪽 차선의 아래쪽 끝점을 나타낸다.


Fig. 7 
Detection result of lane-end-point

인식률 평가를 위해 GT와 인식된 차선 끝점의 매칭 여부를 판별해야 한다. 이를 위해 두 점을 동일 영상에 출력하여 육안으로 관찰하였으며, 서로의 Type이 일치하고 두 점 사이의 거리가 해당 차선의 폭 이하로 간주되면 정인식으로 분류하였다.

육안 성능 평가 방법의 결과는 Table 4와 같으며, 평가지표인 recallprecision식 (7)의 방법으로 도출하였다. TP(True Positive), FP(False Positive)는 각각 정인식, 오인식 차선 끝점의 개수를 의미한다.

Table 4 
Performance evaluation result (Manual)
TP FP GT recall precision
1,445 4 1,504 96.08 % 99.72 %

recall=TPtotal number of GT , precision=TPTP+FP(7) 

육안 성능 평가는 평가자가 인식된 차선 끝점과 GT를 반복적으로 비교하는 과정에서 경험적으로 알고리즘의 검출 특성과 영상의 Perspective 효과 등 다양한 변수들을 고려하게 되므로 신뢰도가 높은 방법이다. 하지만 평가 과정에서의 인적, 시간적 비용이 크기 때문에 평가 DB의 규모에 따라 제약이 존재한다. 따라서 본 논문에서는 성능 평가 시스템을 자동화하여 이를 개선하고자한다.


4. 성능 평가 자동화 방법
4.1 영상 & 조감도 좌표계 상의 고정 거리 임계치의 문제점

성능 평가 시스템을 자동화하기 위해 인식률 평가 기준을 설정해야 하며, 이를 위해 GT와 인식된 차선 끝점의 오차를 구분하는 임계치를 설정해야한다. 차선 끝점 검출 알고리즘에서 인식 결과와 GT는 영상 좌표계 상의 Pixel 값으로 표현되는데, 이를 통해 두 점 사이의 오차를 계산할 수 있다. 하지만 영상 좌표계는 Perspective 효과로 인해 각 Pixel마다 조감도 좌표계 상의 환산 거리가 일정하지 않으므로 고정 임계치를 적용하기 어렵다.

Fig. 8은 영상의 Perspective 효과를 도식화한 것으로, 동일한 Pixel 간격이라도 Pixel의 위치에 따라 조감도 좌표계 상의 환산 거리가 다르게 나타나는 것을 알 수 있다.


Fig. 8 
Perspective effect in different pixel locations

영상의 Perspective 효과를 고려하기 위해 두 점의 Pixel 오차를 조감도 좌표계 상의 거리 오차로 환산하여 고정임계치를 적용할 수 있다. 하지만 이를 차선 끝점 검출 알고리즘에 적용하여 자동화한 성능 평가 결과, 육안 성능 평가 결과와 매우 상이한 결과를 보이는 것을 확인하였다. 결과는 Table 5와 같으며, 조감도 상의 고정 임계치를 적용하기 위해 고속도로 차선 폭 최대 규격(20 cm)를 기준으로 Margin을 추가하여 ±20 cm로 임계치를 설정하였다. 적용 방법은 Fig. 9와 같다.

Table 5 
Performance evaluation result (Fixed threshold)
TP FP GT recall precision
1,382 67 1,504 91.89 % 95.38 %


Fig. 9 
Fixed threshold on bird’s-eye view

이와 같이 조감도 좌표계 상의 고정 임계치를 적용할 경우 육안 성능 평가와 상이한 결과를 보이는 것은 영상의 단일 선분을 조감도 상의 다양한 선분의 투영으로 해석할 수 있기 때문이다. Fig. 10은 가상의 차선 끝점의 Pixel 위치 a를 기준으로 b까지의 Pixel 오차 ab¯가 가질 수있는 종방향 환산 거리 a'b'¯와 횡방향 환산 거리 a'b''¯를 도식화한 그림으로, 동일한 Pixel 오차에 대한 조감도 좌표계 상의 종/횡방향 환산 거리가 서로 다른 것을 알 수 있다.


Fig. 10 
Different perspective effect in longitudinal and lateral direction

4.2 종/횡방향 환산 거리 기반의 조감도 좌표계 상의 임계치 설정

본 논문에서는 Perspective 효과의 경향을 파악하기 위해 인식 차선 끝점과 GT 사이의 오차가 갖는 조감도 좌표계 상의 환산 거리를 영상 좌표계의 수직/수평 방향 축으로 나누어 분석하였다. 분석 결과를 토대로 각 축을 기준으로 정인식 시 발생 가능한 최대 Pixel 오차와 거리 오차를 가정하고, 이를 토대로 각 축 별 정인식 최대 오차의 환산 거리를 설정하였다. 이후, 설정된 수직/수평 방향 정인식 최대 오차를 융합하여 조감도 좌표계 상의 최종 인식률 평가 기준을 설정하였으며, 제안된 방법은 다음과 같다.

4.2.1 수직 방향 환산 거리 분석

차선 끝점 검출 알고리즘의 인식 결과는 영상의 각 행별 Top-hat response를 기반으로 하기 때문에 영상 좌표계의 수직 방향으로 1 Pixel 간격의 Resolution을 가지며, 수동 획득한 GT 또한 동일한 수직 방향 Resolution을 갖는다. 본 논문에서는 수직 방향 최대 Pixel 오차를 정인식의 경우 육안 성능 평가에서 일반적으로 허용했던 1 Pixel로 가정하였다. Fig. 11과 같이 1 Pixel 오차가 발생할 경우, GT와 인식 결과가 갖는 근사화 오차에 의해 두 점의 실제 수직 방향 위치가 갖는 오차는 최대 약 2 Pixel 간격까지 나타날 수 있다.


Fig. 11 
Maximum vertical pixel error

제안된 실험 환경을 기준으로 GT로부터 수직 방향 2 Pixel 간격이 갖는 환산 거리는 Fig. 12의 점선 그래프와 같다. 이를 토대로 조감도 좌표계 상의 GT 대응점(이후, GT 대응점)이 카메라로부터 근거리에 위치한 경우 정인식된 차선 끝점의 최대 오차가 10 cm 이하의 매우 짧은 거리로 가정되는 것을 알 수 있다. 그래프의 가로축은 GT 대응점과 카메라 사이의 종방향 거리(카메라의 광축과 평행한 방향으로 카메라와 GT 대응점이 사이의 거리)를 의미한다.


Fig. 12 
Maximum longitudinal distance error

하지만 고속도로 차선의 최대 폭 규격(20 cm)을 고려하였을 때, Fig. 9와 같이 Margin을 추가하지 않더라도 10 cm 반경의 정인식 최대 거리 오차는 발생할 수 있다. 이에 본 논문에서는 종방향 정인식 거리 오차의 최소값을 10 cm로 가정하고, 이를 토대로 Fig. 12의 점선 그래프에 Clipping을 적용하였다. 최종적으로 설정한 정인식 차선 끝점과 GT 대응점의 종방향 최대 오차가 가질 수 있는 환산 거리는 Fig. 12의 실선과 같다.

4.2.2 수평 방향 환산 거리 분석

인식된 차선 끝점의 수평 방향 Pixel값은 인식된 차선으로부터 계산된 직선의 방정식에 차선 Profile의 Edge인 수평 방향 Pixel값을 대입하여 계산된 값으로, 검출 직선의 각도와 수평 방향 Pixel esolution에 따른 오차를 내포한다. GT의 수평 방향 Resolution은 수직 방향과 동일하게 1 Pixel 간격을 가지며, 이를 토대로 정인식의 경우 발생 가능한 수평 방향 최대 Pixel 오차 또한 1 Pixel로 가정하였다. Fig. 13과 같이 1 Pixel 수평 방향 오차가 발생할 경우, 두 점의 실제 수평 방향 위치가 갖는 오차는 최대 약 2 Pixel 간격까지 나타날 수 있다.


Fig. 13 
Maximum horizontal pixel error

또한, 본 논문에서는 Fig. 9를 토대로 횡방향 정인식 거리 오차의 최소값을 10 cm로 가정하였으며, Fig. 14의 점선 그래프(GT로부터 수평 방향 2 Pixel 간격이 갖는 조감도 좌표계 상의 환산 거리)를 토대로 2 Pixel 간격 이하의 수평 방향 오차는 차선 끝점 검출 알고리즘의 최대 검출거리(19 m) 내에서 항상 10 cm 미만의 환산 거리를 갖는 것을 알 수 있다. 이에 따라 정인식 차선 끝점과 GT 대응점의 횡방향 최대 오차가 가질 수 있는 환산 거리는 Fig. 14의 실선과 같이 10 cm로 설정하였다.


Fig. 14 
Maximum lateral distance error

4.2.3 조감도 좌표계 상의 임계치 설정

앞서 설정한 정인식된 차선 끝점의 종/횡방향 별 최대 오차의 환산 거리를 활용하여 식 (8)과 같이 유클리드 거리 값으로 계산하여 조감도 좌표계 상의 임계치를 설정하였다. 최종적으로 설정한 임계치는 GT 대응점과 카메라의 종방향 거리에 따라 다르게 적용되며, Fig. 15의 실선과 같다.

Threshold=Max Error  LONGITUDINAL2+Max Error  LATERAL2(8) 

Fig. 15 
Final threshold for classifying recognition result


5. 실험 결과

제안된 임계치를 통해 자동화한 성능 평가 시스템의 결과는 Table 6과 같다. 실험 결과, 제안된 방법이 조감도 상의 고정 임계치를 사용하는 방법에 비해 육안 평가 결과와 훨씬 유사한 결과를 보이는 것을 확인하였다.

Table 6 
Experimental results of performance evaluation
Method TP FP GT recall precision
Fixed threshold 1,382 67 1,504 91.89 % 95.38 %
Proposed 1,439 10 1,504 95.68 % 99.31 %
Manual 1,445 4 1,504 96.08 % 99.72 %


6. 결 론

본 논문에서는 고속도로 정밀 측위를 위한 차선 끝점 검출 알고리즘의 성능 평가 자동화 방법을 제안하였다. 인식된 차선 끝점과 GT 사이의 오차를 구분하기 위해 인식률 평가 기준을 설정하는 과정에서 영상의 Perspective 효과를 영상 좌표계의 수직/수평 방향으로 나누어 분석한 뒤, 이를 토대로 인식률 평가 기준을 설정하였다.

실험 결과 제안된 방법을 통해 자동화한 성능 평가 시스템이 육안 성능 평가 결과와 매우 유사한 결과를 보이는 것을 확인하였다. 또한, 제안된 방법의 성능 평가 결과에서 GT와의 거리 오차가 큰 경우만을 추출하여 육안 성능 평가로 수정하면 육안 성능 평가 방법과 동일한 성능 평가 결과를 보이는 것을 확인하였다.

제안된 성능 평가 자동화 방법을 통해 신뢰도가 비교적 높은 성능 평가 결과를 빠르게 도출할 수 있고, 육안 성능 평가 과정에도 부분적으로 활용하여 평가 시간을 단축할 수 있으므로 향후 차선 끝점 검출 알고리즘의 개선 과정에 효율적으로 활용할 수 있을 것으로 보인다.


Acknowledgments

A part of this paper presented at the KSAE 2018 Spring Conference

본 연구는 국토교통부 ‘자율협력주행을 위한 LDM 및 V2X 기반 도로시스템 개발’ 연구개발사업의 연구비지원(과제번호 18TLRP-B101406-04)에 의해 수행되었습니다.


References
1. J. Ziegler, T. Dang, U. Franke, H. Lategahn, P. Bender, M. Schreiber, T. Strauss, N. Appenrodt, C. G. Keller, E. Kaus, C. Stiller, and R. G. Herrtwich, “Making Bertha Drive, An Autonomous Journey on a Historic Route”, IEEE Inelligent Transportation Systems Magazine, 6(2), p8-20, (2014).
2. S. Miura, L. T. Hsu, F. Chen, and S. Kamijo, “GPS Error Correction with Pseudorange Evaluation using Three-dimensional Maps”, IEEE Transactions on Intelligent Transportation Systems, 16(6), p3104-3115, (2015).
3. K. C. Jo, Y. W. Jo, J. K. Suhr, H. G. Jung, and M. Sunwoo, “Precise Localization of an Autonomous Car based on Probabilistic Noise Models of Road Surface Marker Features using Multiple Cameras”, IEEE Transactions on Intelligent Transportation Systems, 16(6), p3377-3392, (2015).
4. J. K. Suhr, J. Jang, and H. G. Jung, “Sensor Fusion-based Low-cost Vehicle Localization System for Complex Urban Environments”, IEEE Transactions on Intelligent Transportation Systems, 18(5), p1078-1086, (2017).
5. X. Qu, S. Bahman, and P. Nicolas, “Landmark based Localization in Urban Environment”, ISPRS Journal of Photogrammetry and Remote Sensing, 140, p90-103, (2018).
6. S. J. Lee, J. K. Suhr, and H. G. Jung, “Corner Detection-based Road Sign Detection for Low-cost Sensor Fusion-based Precise Localization System”, Transactions of KSAE, 26(1), p20-31, (2018).
7. S. Kamijo, Y. Gu, and L. -T. Hsu, “Autonomous Vehicle Technologies: Localization and Mapping”, IEICE ESS Fundamentals Review, 9(2), p131-141, (2015).
8. M. Schreiber, C. Knoppel, and U. Franke, “LaneLoc: Lane Markin based Localization using Highly Accurate Maps”, 2013 IEEE Intelligent Vehicles Symposium, p449-454, (2013).
9. W. Lu, E. Seignez, F. S. A. Rodriguez, and R. Reynaud, “Lane Marking Based Vehicle Localization using Particle Filter and Multi-kernel Estimation”, 2014 13th International Conference on Control Automation Robotics & Vision (ICARCV), p601-606, (2014).
10. S. Nedevschi, V. Popescu, R. Danescu, and T. Marita, “Accurate Ego-vehicle Global Localization at Intersections through Alignment of Visual Data with Digital Map”, IEEE Transactions on Intelligent Transportation Systems, 14(2), p673-687, (2013).
11. T. Marita, M. Negru, R. Danescu, and S. Nedevschi, “Stop-line Detection and Localization Method for Intersection Scenarios”, 2011 IEEE 7th International Conference on Intelligent Computer Communication and Processing, p293-298, (2011).
12. D. S. Kim, and H. G. Jung, “Road Surface Marking Detection for Sensor Fusion-based Positioning System”, Transactions of KSAE, 22(7), p107-116, (2014).
13. F. Bashr, and F. Porikli, “Performance Evaluation of Object Detection and Tracking Systems”, Proceedings 9th IEEE International Workshop on PETS, p7-14, (2006).
14. J. C. McCall, and M. M. Trivedi, “Performance Evaluation of a Vision based Lane Tracker Designed for Driver Assistance Systems”, IEEE Intelligent Vehicles Symposium, p153-158, (2005).
15. G. Liu, and R. M. Heralick, “Optimal Matching Problem in Detection and Recognition Performance Evaluation”, Pattern Recognition, 35(10), p2125-2139, (2002).
16. M. Bertozzi, and A. Broggi, “Real-time Lane and Obstacle Detection on the Gold System”, IEEE Intelligent Vehicles Symposium, p213-218, (1996).
17. C. J. Burges, “A Tutorial on Support Vector Machines for Pattern Recognition”, Data Mining and Knowledge Discovery, 2(2), p121-167, (1998).
18. G. Zhu, M. C. Yeh, K. T. Cheng, and S. Avidan, “Fast Human Detection using Cascade of Histograms of Oriented Gradients”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR), 2, p1491-1498, (2006).
19. E. S. Jang, J. K. Suhr, and H. G. Jung, “Automated Performance Evaluation of Lane-end-point Detection for Positioning on the Highway”, KSAE Spring Conference Proceedings, p750-755, (2018).