단안 카메라 기반 정밀측위를 고려한 고속도로 시설물의 랜드마크 적합성 평가
Copyright Ⓒ 2019 KSAE / 161-05
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
This paper proposes a method to evaluate the landmark suitability of road facilities in highways for the map-matching based vehicle localization system that detects road facilities by using a monocular camera and finds their correspondences on a digital map. Each road facility is evaluated based on four criteria, such as detectability, map matchability, localization robustness and observation frequency. These four results are combined to assess the landmark suitability of the road facility. It is expected that the results of this study will provide guidance on how to prioritize a road facility as a landmark and what facility information should be stored on a map.
Keywords:
Vehicle localization, Map-matching based localization, Landmark suitability, Road facility, Monocular camera키워드:
측위, 지도정합기반 측위, 랜드마크로 적합성, 도로 시설물, 단안카메라1. 서 론
측위란 지도상에서 현재 위치를 알아내는 것으로 자율주행자동차 및 첨단 운전자 지원 시스템의 핵심기술이다.1) 현재까지 GNSS(Global navigation satellite systems)를 활용한 측위 방법이 널리 활용되어 왔지만 GNSS는 신호의 난반사 또는 차폐가 발생할 수 있는 복잡한 도심환경에선 오차가 크고 터널에서는 사용이 불가능하다.2) 또한 현재 차량에 장착된 GNSS의 경우 수신 환경이 좋은 경우에도 2~3 m 정도의 오차가 발생하여 네비게이션용으로는 활용 가능하지만 자율주행에 적용하기에는 무리가 있다.3)
기존 측위 시스템의 한계는 전자 지도 상에 기록된 랜드마크를 센서를 통해 검출하고 해당 랜드마크를 기준으로 자차의 위치를 추정하는 지도정합 방법을 활용하여 극복될 수 있다.4) 지도 정합을 통한 측위 방법에는 라이다 또는 카메라로부터 취득된 데이터에서 임의 정적 물체 상의 3차원 또는 2차원 특징점을 추출하고 이를 랜드마크로 활용하여 지도와 정합하는 일반 특징점 기반 방식과 도로 시설물을 랜드마크로 활용하는 도로 시설물 기반 방식이 있다.5-7) 일반 특징점 기반 방식은 도로가 아닌 장소에서도 활용할 수 있는 장점이 있지만 지도에 저장해야 하는 정보량이 많아지는 단점이 있다. 도로시설물 기반 방식은 도로시설물이 존재하는 장소에서만 적용할 수 있지만 지도에 저장할 정보량이 줄어든다는 측면에서 효율적이다. 도로 환경에서는 차선, 표지판 및 안전표지와 같은 도로 시설물들이 다수 존재하기 때문에 도로시설물 기반 방식이 일반 특징점 기반 방식에 비해 합리적이라 할 수 있다. 특히, 도로 시설물은 경찰청이나 도로공사에서 지속적으로 관리하기 때문에 시간에 따른 형상 변화가 적고 그 형상이 정형화되어 있기 때문에 지도에 저장해야 할 정보가 적고 규정하기도 용이하다.18-20)
도로 시설물에는 표지판, 차선, 신호등, 안전표지 및 장애물 표적표지 등 그 종류가 다양하다. 모든 도로 시설물들을 측위에 활용할 수도 있지만, 이 중에는 측위에 별로 도움이 되지 않는 것도 존재하고 모든 시설물을 지도에 저장하고 지속적으로 관리하는 것은 비효율적이다. 따라서 본 논문에서는 도로 시설물을 활용한 지도 정합 방식의 측위를 구현할 때 어떤 시설물이 측위에 적합한지를 평가하는 방법과 그 결과를 제시한다. 도로 시설물의 정보를 담고 있는 정밀지도의 경우 현재 고속도로에 초점을 맞추어 구축되고 있기 때문에, 본 논문에서는 Table 1에 나와 있는 고속도로 시설물 15종을 평가 대상으로 설정하였다. 고속도로 시설물 중 중앙분리대나 가드레일은 차량과 시설물까지의 종방향 거리 정보를 얻을 수 없어 개별 시설물만으로는 측위가 불가능하기 때문에 적합성 평가에서 제외하였다. 도로시설물에 대한 랜드마크 적합성은 이를 검출하는 센서에 따라 달라질 수 있는데, 본 논문에서는 차량에 가장 널리 장착되는 전방 단안 카메라를 활용할 경우로 한정하였다. 랜드마크 적합성은 검출적합성, 지도정합성, 측위강건성 및 관찰빈도의 4가지 항목으로 평가되고, 항목별 평가결과를 가중합하여 종합된다. 2장에서는 적합성 평가항목의 도출배경, 항목별 평가 방법에 대한 소개 및 이와 연관된 배경지식을 설명한다. 3장에서는 각 평가항목에 대한 구체적인 평가방법과 그 결과를 제시하며, 4장에서는 결론 및 향후 계획에 대해서 다룬다.
2. 평가방법 설계
2.1 설계원리
도로 시설물을 측위에 활용하려고 할 때 각 시설물에 대한 랜드마크로서의 적합성에 관한 기존 연구는 전무하다. 따라서 본 논문에서는 Fig. 1과 같이 지도 정합 방식 측위를 총 4단계로 구분하고, 각 단계에 영향을 주는 시설물 특성을 평가항목으로 제안하였다. 각 항목에 대해 평가할 때 실제 도로에서 취득한 데이터만을 활용하면 좋겠지만 이는 현실적으로 불가능하여 시뮬레이션 수행 및 각종 참고문헌과 지도를 참조하였다. 또한 본 논문에서는 시설물 개별에 대한 랜드마크 적합성을 평가하는데에 초점을 두었기 때문에 복수 시설물을 동시에 사용하여 측위하는 경우는 배제하였다.
지도 정합 방식의 측위는 Fig. 1과 같이 랜드마크를 검출하고 이에 대응하는 정보를 정밀지도에서 찾는다. 그리고 검출된 랜드마크 정보와 찾아진 지도정보를 활용하여 자차의 위치를 추정하며 추정된 결과를 GNSS/INS(Inertial Navigation System)의 결과와 융합하여 최종 위치를 출력한다. 랜드마크를 검출하는 단계에서는 각 도로 시설물이 센서를 통해 얼마나 잘 검출될 수 있는지, 즉 검출 적합성에 대해 평가한다. 지도 정합 단계에서는 검출된 시설물에 대응하는 지도정보를 검색하기가 얼마나 용이한지가 중요하며, 이는 지도 정합성 항목으로 평가한다. 위치 추정단계에서는 자차의 위치를 추정할 때 여러 오차 요인이 발생해도 얼마나 정밀한 결과를 얻을 수 있는지를 측위 강건성 항목으로 평가한다. GNSS/INS와 융합단계에서는 각 시설물이 얼마나 자주 관찰되어 최종 위치 추정에 기여하는지가 중요하여, 관찰 빈도 항목으로 평가한다. 끝으로 단계별 평가항목 결과를 종합하여 각 시설물별 랜드마크 적합성을 도출한다.
2.2 검출 적합성(Detectability)
검출 적합성은 시설물을 단안카메라로 검출할 경우 얼마나 잘 검출될 수 있는지에 대한 평가항목이다. 검출 적합성 Da은 평균 검출 프레임 수 , 시인성 V, 형상 불변성 S와 같이 3가지 세부항목으로 나누어진다. 검출 적합성을 결정짓는 세부항목들은 뒤에서 상세히 설명하겠지만, 각각 독립적인 특성을 가지므로 검출 적합성은 각 항목 점수의 곱으로 계산하였다.
(1) |
본 논문은 각 시설물의 절대적인 적합성을 정량적으로 평가하기보다 다른 시설물과의 비교 우위를 계산하는 것에 목적이 있다. 따라서 식 (1)에서 계산한 검출 적합성을 식 (2)와 같이 최고 점수가 10이 되도록 정규화한 상대검출 적합성 Dr로 변환하였다. 검출 적합성 평가 결과는 Table 9와 같다.
(2) |
평균 검출 프레임 수는 자차가 100 km/h로 주행하고 15 fps(frame per second) 검출속도로 시설물을 검출한다고 가정할 때 각 시설물이 검출되는 평균 프레임 수이다. 차속은 일반적인 고속도로 최고시속으로 가정하였고, 영상처리 속도는 검출율이 가장 우수한 최신 교통안전표지 검출 알고리즘이 720×576 해상도에서 약 13 fps로 처리되기 때문에 향후 하드웨어 발달을 고려하여 15 fps로 설정하였다.8) 본 논문에서는 영상에 투영된 시설물이 가려지지 않으면 100 % 검출된다고 가정하였고, 이때 시설물 i의 평균 검출 프레임 수는 아래와 같이 계산된다.
(3) |
위의 식에서 는 시설물 i 가 다른 차량에 의해 가려지는 평균 프레임 수이고 는 시설물이 검출 가능한 평균 프레임 수이며 다음과 같다.
(4) |
위의 식에서 은 평균 검출 가능 거리범위로 영상에서 시설물이 검출될 수 있는 조건을 만족하는 카메라와 시설물간 사이 평균거리를 나타낸다. 시설물이 검출될 수 있는 조건은 영상에 투영된 시설물의 최소 변의 길이가 24화소 이상이고 투영된 시설물 전체가 화각 안에 들어오는 것으로 설정하였다. VP는 초당 영상처리율로 본 논문에서는 15 fps이며, 는 초당 자차의 평균 이동거리이다. 는 카메라의 화각 및 화소수, 시설물의 크기 그리고 시설물과 카메라 사이의 상대위치와 관련 있다. 와 를 실 도로에서 취득된 데이터를 활용하여 계산하는 것은 차량과 시설물간 위치 관계, 차량의 속도, 타차의 분포 및 종류와 같은 다양한 변수를 고려해서 수집해야 해서 현실적으로 불가능하다. 따라서 본 논문에서는 이를 시뮬레이션을 통해 계산하였으며, 구체적인 시뮬레이션 방법은 3.2.1에서 설명하였고 평균 검출 프레임 수 평가 결과는 Table 6과 같다.
시인성은 시설물이 조도 조건이 안 좋은 야간에도 육안으로 얼마나 잘 관찰될 수 있는지를 평가한다. 시설물의 평균 검출 프레임 수가 높아도 야간과 같이 조도가 낮은 경우에 시설물이 실제 검출되지 않으면 해당 시설물을 측위에 사용하기 어렵다. 시인성을 결정짓는 요소는 다음과 같다.
- - 시설물의 발광성능(휘도) 또는 반사성능(재귀휘도 계수)
- - 반사성능 측정 시 차량 전조등의 입사각
- - 반사성능 측정 시 관찰각
- - 시설물의 면적(크기)
휘도는 단위면적 당 광도로 단위는 cd/m2 이며, 발광체의 성능을 나타내는 지표이다. 재귀휘도 계수는 반사체의 반사성능을 나타내는 지표로 단위면적에 입사된 조도 대비 휘도로 단위는 cd/(lx・m2)이다. 시설물의 면적은 평균 검출 프레임 수를 계산할 때 고려되기 때문에 시인성 계산 때는 배제하였다. 입사각은 Fig. 2와 같이 시설물의 법선과 조사되는 전조등 빛 사이의 각도를 의미하며, 관찰각은 시설물에 입사되는 빛과 운전자의 시야로 들어오는 빛이 이루는 각도를 의미한다. 시설물의 재귀휘도 계수 또는 휘도는 Table 1의 시설물의 재질(반사지, 반사도료, 반사렌즈, 발광체) 및 색상에 따라 달라지며 이에 대한 자료는 Table 1의 참고문헌과 같다.
시인성 점수를 계산하기 위해 반사체인 경우는 입사각과 관찰각에 따른 재귀휘도 계수의 평균을 계산하였고, 발광체의 경우에는 평균 휘도를 계산하였다. 시인성 점수는 주간점수(최고 5점)와 야간점수(최고 5점)를 합산하여 부여되며, 모든 시설물의 주간 점수는 최고점을 부여하였다. 재질이 발광체인 차로 상태 표시등의 경우 야간점수를 최고점으로 부여하였으며 재질이 발광 및 반사체도 아닌 환풍기는 야간점수를 0점으로 부여하였다. 반사체인 경우 시설물 i 의 야간 시인성 점수는 아래와 같이 계산된다.
(5) |
여기서, 는 시설물 i 의 평균 재귀휘도 계수이다. 시설물의 평균 재귀휘도 계수 또는 평균 휘도를 계산한 방법은 3.2.2에서 자세히 설명하였고, 시인성 점수 평가 결과는 Table 7과 같다.
형상 불변성은 도로시설물의 모양이나 내부 표식이 변화하지 않는 정도를 나타내며 형상 변화가 적을수록 검출기의 형상 패턴 학습이 용이해서 검출율이 높아질 수 있다. 형상 불변성을 결정짓는 요소로는 시설물의 모양변화, 치수비율변화, 내부 표식변화가 있다. i 번째 시설물의 형상 불변성 점수 Si는 식 (6)과 같이 모양 불변성 , 치수비율불변성 , 표식불변성 점수의 평균으로 정의하였다.
(6) |
식 (6)에서 는 시설물이 단일 모양이면 3점, 제한된 종류의 모양변화가 존재하면 2점, 모양을 규정할 수 없으면 1점을 부여하였다. 는 치수 비율이 고정되어 있으면 3점, 제한된 치수 비율변화가 존재하면 2점, 치수 비율에 대한 규정이 없으면 1점을 부여하였다. 끝으로 는 단일표식 3점, 제한된 종류 표식 2점, 표식 규정이 없으면 1점을 부여하였다. 각 시설물의 형상에 대한 특성은 Table 1에 나와 있으며 이를 토대로 형상불변성을 평가하였고, 그 결과는 Table 8과 같다.
2.3 지도 정합성(Map matchability)
지도 정합성은 영상에서 검출한 시설물에 대응하는 전자 지도상에 저장된 시설물을 찾는 것이 얼마나 용이한 지에 대한 척도이다. 지도 정합성은 시설물의 설치 간격에 영향을 받는다. 예를 들어 GNSS만을 이용하여 측위할 경우 오차가 수m 이내이고 검출된 시설물의 설치 간격이 10 m 이상이면 검출한 시설물이 지도상의 동종 시설물 중 어느 시설물과 대응되는지는 쉽게 알 수 있을 것이다. 지도 정합성은 관찰 빈도와는 상반되는 부분이 있는데, 도로 상에 시설물이 일정 정도 이상 자주 등장하는 것은 좋지만 그 설치 간격이 너무 촘촘하면 지도 정합성이 떨어져 오히려 해당 시설물을 측위에 활용하기 어려울 수 있다. 일반적으로 자율주행자동차에는 GNSS가 기본적으로 장착되어 있으며 본 논문에서 대상으로 하는 고속도로에선 개활지(Open Sky) 환경이 대부분이기 때문에, GNSS/INS의 측위 오차가 5 m 이내라고 가정하였다.11) 따라서 시설물의 설치 간격이 5 m 이상 떨어지면 지도상의 해당 시설물을 찾는 데 문제가 없기 때문에, 시설물 i 에 대한 지도 정합성 점수 Mi는 식 (7)과 같이 설치 규정에 나와 있는 시설물 i 에 대한 최소 설치 간격 을 기준으로 최고점이 10점을 갖도록 계산하였다. 각 시설물에 대한 설치 간격 및 지도 정합성 평가 결과는 Table 11과 같다.
(7) |
2.4 측위 강건성(Localization robustness)
측위 강건성은 시설물의 설치 높이, 포즈, 카메라 외부 변수, 영상에서의 검출 좌표 등에 오차가 존재할 때 추정된 자차의 위치가 얼마나 정밀한지를 뜻한다. 검출된 시설물을 활용해서 추정된 자차의 위치는 시설물 기준 차량(카메라)의 상대위치 혹은 전 지구 좌표계에서 차량의 절대위치로 나눌 수 있다. 본 논문에서는 상대 위치 만을 추정할 수 있는 경우를 상대 측위(Relative localization), 절대 위치를 추정할 수 있는 경우를 절대 측위(Global localization)로 정의하였다.
상대 측위는 노면과 시설물 및 카메라 간의 높이를 알고 노면의 법선 벡터와 카메라 광축 간의 관계를 알고 있다면 수행할 수 있다.12) Fig. 3의 좌측은 측면에서 카메라와 시설물의 위치 관계를 표현한 것이다. Fig. 3에서 캘리브레이션을 통해 카메라의 높이 Hc, 초점거리 f, 그리고 주점의 세로좌표 oυ를 알고 시설물의 설치 높이 규정 또는 지도정보를 통해 시설물의 높이 Hg를 안다면, 닮은꼴 삼각형의 비례식에 의해 카메라에서 시설물까지의 종방향(차량진행방향) 거리 Zf는 식 (8)과 같이 계산된다. 식 (8)에서 υg는 영상에서 검출된 시설물의 최하단 세로좌표이다. Fig. 4의 좌측은 조감도에서 카메라와 시설물의 위치 관계를 표현한다. Fig. 4에서 카메라부터 시설물의 중심까지의 횡방향 거리 Zs는 식 (9)와 같이 닮은꼴 삼각형의 비례식에 의해 계산된다. 식 (9)에서 ug는 영상에서의 시설물 중심의 가로좌표이며 ou는 주점의 가로좌표이다.
(8) |
(9) |
시설물의 설치높이를 알지 못해도 시설물에서 검출된 4점 이상의 특징점들 간의 관계와 해당 특징점들에 대응하는 영상좌표를 알고 있으면 상대 측위가 가능하다. 예를 들어 표지판은 직사각형이고 너비와 높이를 알고 있다면 표지판의 특징점, 즉 코너점 간의 관계를 알 수 있고 이에 대응하는 영상좌표를 알고 있다면 실제 표지판과 영상에 투영된 표지판간의 관계를 Homography변환으로 표현할 수 있으며 이를 통해 상대측위가 가능하다.17)
절대 측위는 시설물에서 검출된 4점 이상의 특징점들에 대한 전지구 좌표(Global position)와 이에 대응하는 영상좌표를 알고 있으면 가능하다.13) 4점 이상의 특징점 간의 관계를 이용한 상대 측위는 절대 측위 방법과 유사하며 단지 차이는 특징점의 좌표가 전지구 좌표가 아니라 특징점 중 한 점을 원점으로 하는 시설물 기준 좌표라는 것이다. 따라서 본 논문에서는 상대측위 방법을 시설물의 설치높이를 이용한 방법으로 한정하고 각 시설물 별로 다양한 오차 요소에 대해 상대측위 오차의 강건성을 시뮬레이션을 통해 측정하였다.
상대 측위의 결과에 오차를 발생시키는 요소로는 시설물의 설치 높이 규정과 실제 설치 높이 간의 오차, 카메라 외부변수 오차(내부변수엔 오차가 없다고 가정), 영상에서 시설물의 검출오차 그리고 끝으로 이런 오차들의 영향을 증폭시키는 시설물과 카메라 간의 종방향 거리가 있다.
시설물 i 의 상대 측위 강건성 은 식 (10)과 같이 계산하였다. 차량의 실제 위치를 기준으로 각 요소(설치 높이 오차, 카메라 각도 오차, 시설물의 검출오차)별 표준편차를 계산한 후 이를 평균하고, 그 값이 5 m를 넘지 않으면 상대 측위 강건성 점수를 부여하고 그렇지 않으면 0점을 부여하였다.
(10) |
식 (10)에서 는 각각 설치높이 오차, 카메라 외부변수 오차(카메라 각도), 높이 측정점의 검출 오차에 대한 상대측위의 표준편차를 의미한다. 각 오차 발생 요소 별 상대측위의 표준편차를 계산하는 방법은 3.4.1에서 자세히 설명하였고, 그 결과는 Table 11과 같다.
절대측위는 앞서 언급했듯이 지도상의 시설물에 4점 이상의 전지구 좌표가 주어졌을 때 측위가 가능하다. 그러므로 시설물의 형상이 삼각형이나 원형이어서 4점 이상의 코너점(특징점)을 추출하기 어려운 경우에는 평가에서 배제하였다. 절대측위에서 오차를 발생시키는 요소로는 실제 시설물의 전지구 좌표와 지도에 기록된 시설물의 좌표 간 차이와 영상에서 검출된 시설물의 좌표 오차가 있다. 시설물의 전지구 좌표와 지도상 좌표 간 차이는 주로 바람과 같은 외란에 의해 시설물의 포즈가 변화한 경우이다. 따라서 이에 대한 측위오차를 본 논문에서는 시설물의 포즈변화에 대한 측위오차로 정의하였다. 이러한 요소들로 인한 절대 측위 오차는 시설물과 카메라 간의 거리가 멀수록 커진다. 예를 들어 시설물을 기준으로 카메라의 위치를 측정할 때 거리 R 에 오차는 없지만 시설물의 방향이 θ만큼 틀어졌다고 가정하면 위치 오차는 R⋅θ가 된다. 즉 실제 카메라의 위치와 추정된 위치간의 차이는 거리 R 에 비례하게 된다. 시설물의 크기도 절대 측위 오차에 영향을 준다. 시설물의 크기가 크다면 동일한 포즈변화에 대해서 특징점 좌표의 변화가 커져서 측위 오차는 커질 수 있다. 하지만 시설물의 크기가 크면 영상에 투영된 시설물의 크기도 커져서 검출오차에 대해서는 둔감할 수 있다.
시설물 상의 4개 특징점에 대한 전지구 좌표와 영상좌표가 주어진 경우 절대 측위 방법은 다음과 같다. 시설물이 주로 평면이므로 시설물 상의 전지구 좌표와 영상좌표간의 Homography관계를 추정하고 추정된 Homography로 카메라 좌표계 기준 시설물 특징점의 3차원 좌표를 계산한다.17) 카메라 좌표계 기준 시설물 특징점의 좌표와 전지구 좌표계 기준 좌표 간의 Similarity 변환에 대한 회전과 변위 행렬을 추정하여 전지구 좌표계 기준 카메라 좌표를 결정한다.14)
절대측위 강건성도 상대측위와 동일하게 각 오차 발생요소에 대한 측위 표준편차를 구한 후 식 (11)과 같이 계산하였다.
(11) |
식 (11)에서 와 는 각각 포즈변화와 시설물 검출좌표 오차에 대한 절대 측위 표준편차이다. 절대측위 표준편차를 계산하는 방법은 3.4.2에서 자세히 설명하였고, 그 결과는 Table 12와 같다.
시설물에 따라 상대 측위만 가능한 경우가 있다. 상대 측위만 가능한 시설물이라고 해도 차량의 진행방향 및 차량과 차선 간의 이격 거리를 알고 검출된 시설물이 지도와 정합된다면 전지구 좌표계에서 차량위치를 알 수 있다. 따라서 본 논문에서는 상대측위 강건성 점수와 절대측위 강건성 점수 중 높은 것을 선택하여 시설물 i의 측위강건성 점수 Pi를 계산하였고, 그 결과는 Table 13과 같다.
2.5 관찰 빈도(Observation frequency)
관찰 빈도는 시설물이 도로에서 1 km당 존재하는 빈도수를 의미하며, 관찰 빈도가 높을수록 해당 종류의 시설물이 자주 등장하여 GNSS/INS에 의한 측위 결과를 보정하는데 활용도가 높을 것으로 기대할 수 있다. 시설물 i의 관찰 빈도 점수 Fi 는 식 (12)와 같이 계산하며, 여기서 Qi는 시설물 i의 관측 횟수를 의미한다. Fi는 1 km 당 10회 이상 시설물이 존재하면 최고점을 부여하였다. 각 시설물 별 관찰빈도는 영동고속도로 상행선 서울 TG부터 호법 JC까지 약 42 km 구간에 설치된 도로 시설물을 직접 개수하여 평가하였다. 그 평가 결과는 Table 14와 같다.
(12) |
2.6 랜드마크 적합성(Landmark suitability)
각 시설물에 대해서 앞에서 살펴보았던 검출적합성, 지도정합성, 측위강건성, 관찰빈도에 대한 세부항목과 평가방법을 정리하면 Table 2와 같다. 측위 강건성이나 평균 검출 프레임 수와 같이 시뮬레이션에 기반한 평가를 수행할 때 관계된 변수는 참고문헌을 참고하여 설정하였으며, 시뮬레이션에 사용된 교통흐름 모델이나 측위 방법은 기존 연구를 참조하였다. 참고문헌조사를 통해 평가한 항목도 시인성과 같이 명확한 수치가 존재하는 자료가 있으면 이를 바로 인용하였고, 그렇지 않은 경우에는 참고문헌을 근거로 논리적으로 추론하였다.
시설물 i에 대한 랜드마크 적합성 은 상대 검출적합성 , 지도정합성 Mi, 측위강건성 Pi, 관찰 빈도 Fi 점수를 식 (13)과 같이 가중합하여 산출하였다.
(13) |
각 평가항목에 대한 가중치 w는 전문가 자문을 통해서 구했으며, 자문 결과와 각 시설물별 랜드마크 적합성은 Table 15와 같다.
3. 실험결과
3.1 시뮬레이션 관련 사양
일부 평가항목에 대한 정량평가를 위해서는 카메라와 시설물 간의 위치관계, 타차의 분포 및 궤적, 시설물의 설치 높이 및 포즈 등을 변화시키면서 분석해야 한다. 실제 환경에서 이를 수행하는 것은 불가능하다. 따라서 본 논문에서는 여러 시뮬레이션을 통해 정량평가를 수행하였다. 시뮬레이션 환경을 설정하기 위해 적용된 사양은 카메라, 도로 그리고 시설물 관련된 항목을 포함한다. 카메라 및 도로 관련 사양은 Table 3과 같다. 카메라 수평 화각은 일반적인 전방카메라를 기준으로 하였다. 카메라 좌표계는 Y축이 노면의 법선 벡터와 일치하고 Z축(즉, 광축)이 차량 진행방향과 일치하는 오른손 좌표계를 적용하였다. 도로는 편도 4차선 직선도로로 가정하였고 차로 폭은 일반적인 고속도로 폭인 3.5 m로 설정하였다.
시설물 관련 사양은 Table 4와 같으며 명확한 형상(모양 및 치수) 및 설치 높이 규정이 존재하면 이를 준수하며, 규정이 일정 범위로 주어진 경우 범위 내에서 설정하였다. 규정 자체가 없는 경우에는 시중에 판매되는 제품을 기준으로 시설물의 형상 관련 사양을 설정하였다. 또한 안전표지의 경우 “교통안전표지 설치관리 매뉴얼”20)에서 명시된 안전표지가 육안으로 인식되어야 할 거리를 참고하였고 “안전보건표지의 종류”30)에 나와 있는 인식거리를 기준으로 안전표지의 크기를 정하는 공식을 사용하여 설정하였다.
Fig. 5는 Table 3, 4의 시뮬레이션 변수를 활용하여 가상카메라, 가상도로, 가상 시설물을 생성한 예를 보여준다. 위와 같은 시뮬레이션 환경에서 시설물의 설치 높이 및 자세, 자차와 시설물 간의 상대 위치 그리고 주변 다른 차량의 위치 등을 변화시켜 가면서 실험하였다.
3.2 검출 적합성(Detectability)
평균 검출 프레임 수를 계산하기 위해 우선 평균 검출 가능 거리범위 및 평균 검출 가능 프레임수 를 시뮬레이션을 통해 계산하였다. 이때 카메라, 시설물 및 도로에 대한 환경변수는 Table 3, 4와 같이 설정하였다. 시설물의 검출조건에서 차로 표시선만 예외적으로 투영된 시설물의 최소 변의 길이가 24화소 이상이 아닌 3화소 이상으로 설정하였다. 그 이유는 차로 표시선은 다른 시설물과 달리 학습기반 검출기가 아닌 영상처리 필터에 의해 검출되고,9) 투영된 차로 표시선의 폭이 3화소 이상이면 영상처리 필터를 통해 차로 표시선의 좌/우 에지를 검출할 수 있기 때문이다. 평균 검출 가능 거리를 계산하는 절차는 아래와 같다.
- 1) 가상공간에 각 시설물 배치
- 2) 카메라를 i 번째 차로에 배치
- 3) 카메라와 각 시설물 사이 거리를 1 ~ 200 m 범위에서 0.1 m 간격으로 변경
- 4) 각 시설물에 대해 검출조건을 만족하는 최소/최대 검출 거리 산출
- 5) 주행차로 i 를 1 ~ 4 범위에서 변경하며 위 과정을 반복하여 평균 최소/최대 검출거리 산출
- 6) 식 (4)에 의해 평균 검출 가능 프레임 수 계산
위 절차에 의해 계산된 시속 100 km/h에서의 각 시설물 별 평균 검출 가능 거리 범위 및 평균 검출 가능 프레임 수는 Table 5와 같다. Table 5에서 시선유도표지 및 시선유도봉은 그 폭이 매우 작아 카메라와 이격 거리가 1 m 이상인 경우에는 투영된 시설물의 폭이 24화소 미만이어서 측정이 불가능하였다. 또한 비상구 표시와 소화전의 경우엔 크기는 크지만 터널 벽면에 부착되어 카메라와 마주보는 면이 작았다. 이로 인해 검출거리 범위가 매우 짧고 차량이 시속 100 km/h 이상으로 주행할 때 평균 2프레임 이하로 관찰되었다. 일반적으로 동영상에서 물체를 검출하는 알고리즘들은 한 장 영상의 검출 결과를 최종 검출 결과로 출력하지 않고, 신뢰도를 높이기 위해 여러 장의 영상에서 검출된 결과를 종합하여 도출한다.8) 특히 측위에서는 정검출율도 중요하지만 오검출율이 낮아야 한다. 인식성능이 최고 수준인 딥러닝 기반 교통표지판 검출 알고리즘도 Precision이 0.9정도여서 1 프레임에서의 검출 결과로는 높은 수준의 검출 신뢰도를 확보하기가 어렵다.10) 따라서 시속 100 km/h에서 2 프레임 미만으로 검출되는 시설물은 측위에 활용하기 어렵다.
Table 5에서 계산한 평균 검출가능 프레임 수 는 차량이 등속도 운동을 한다고 가정했을 경우이다. 하지만 실제 환경에서는 주변 차량들로 인해 이 가정이 대부분 만족되지 않는다. 주변 차량들의 영향으로 인한 자차의 가감속도 고려하기 위해서는 차량들의 궤적을 동역학 이론에 근거하여 생성하는 교통흐름 모델이 필요하다. 또한 교통흐름 모델은 평균 검출가능 프레임 수 를 구하는데 적용될 수도 있지만, 시설물이 다른 차량에 가려지는 평균 프레임 수 를 구하는 데도 활용된다. 본 논문에서는 교통흐름 모델로 Nagel-Schreckenberg 모델을 적용하였다.16) Nagel-Schreckenberg 모델은 Fig. 6과 같이 도로를 점유격자지도(Occupancy grid map)로 표현하고 점유격자지도에서 차량의 점유 여부를 동역학 모델에 기반하여 생성함으로써 차량들의 주행상황을 모사한다. Nagel-Schreckenberg 모델의 변수들과 본 논문에서 정의한 값은 다음과 같다.
- - 점유격자지도의 점유 상태 갱신 주기: 1초
- - 갱신 주기 당 유입 차량 대수: 1대
- - 갱신 주기 당 차량 최대 이동거리: 3칸
- - 한 칸의 차량 진행방향으로의 길이 : 9.25 m
- - 총 차로의 길이: 1850 m = 200칸×9.25 m
- - 총 차로 수: 4
- - 차량 감속확률: 0.3
- - 차선 변경확률: 0.2
교통흐름 모델에서 점유격자지도 갱신주기마다 유입되는 차량의 대수는 실제 고속도로의 특정구간(서울 TG ~ 호법 JC 구간)에서 출퇴근 시간대(출근: 05시 ~ 09시, 퇴근: 18시 ~ 22시)에 평균 통행량을 기초로 설정하였다.31) 출퇴근 시간대에 1시간당 유입되는 차량 대수가 약 2600대로 초당 1대 미만의 차량이 유입되었다. 이를 근거로 갱신주기 당 유입되는 차량 대수를 1로 설정하였다. 최대 차속을 100 km/h로 놓으면 1초에 이동하는 최대 거리는 27.8 m (=100000/3600)가 된다. 점유격자지도 상에서 최대 이동속도를 3칸으로 설정했기 때문에, 1칸의 물리적 거리는 9.25 m가 된다. 4 × 200 크기의 점유격자지도를 만들면 차로 수는 4차로이고, 총 차로 길이는 1850 m인 도로가 된다. Fig. 6(a), (b)는 갱신주기마다 1대 또는 3대의 차량이 유입될 경우 교통흐름 모델에 의해 생성된 점유격자지도의 예이다. Fig. 6에서 밝기 값이 가장 낮은 박스는 고속 차량, 중간 밝기 값은 중속 차량, 그리고 흰색은 저속 차량을 의미하며 회색의 띠는 4차선 도로를 의미한다. Fig. 6(a)와 (b)를 비교해보면 초당 유입되는 차량 대수가 많아지면 일부 차량의 속도가 감속됨을 볼 수 있다.
교통흐름 모델에 의해 갱신주기 당 차량들의 이동 경로를 생성했지만 아직 차종은 지정하지 않았다. 차량의 크기에 따라 도로 시설물을 가릴 가능성이 달라지기 때문에, 시설물이 다른 차량에 가려지는 평균 프레임 수를 계산하기 위해선 차종을 고려해야 한다. 고속도로를 이용하는 차종은 크기에 따라 1종부터 5종으로 분류되며32) 1종, 2종, 3종 이상 차종의 고속도로 이용 비율은 0.872, 0.03, 0.098이다.33) 1종은 주로 승용차로, 본 논문에서는 그 제원을 기아 모하비 차량을 참고하였고, 2종은 중형승합차 카운티, 그리고 3종 이상은 대형 버스인 유니버스의 제원을 참고하였다.
교통흐름 모델, 차종 비율 및 제원이 주어지면 다음과 같은 절차로 평균 검출 가능 프레임 수 와 시설물이 다른 차량에 의해 가려지는 평균 프레임 수 를 계산한다.
- 1) 도로 시작점으로부터 각 도로 시설물을 최대 검출 가능 거리에 배치
- 2) 교통흐름 모델을 활용 차량의 궤적을 생성
- 3) 각 차량에 대해 고속도로 차종비율에 맞게 차종을 랜덤하게 지정
- 5) 최초 생성 차량이 도로를 빠져나간 직후 도로에 유입된 차량 중 한 대를 랜덤하게 자차로 지정
- ※ 자차 유입 시점에 타차가 존재하도록 함
- 6) 교통흐름 모델에서 생성된 챠량들의 궤적을 초당 영상 처리율 15 fps에 맞춰 보간
- 7) 자차를 궤적에 따라 이동시키면서 각 시설물을 카메라에 투영하였을 때 검출조건이 맞는 프레임 수, 즉 검출가능 프레임 수 계산
- 8) 검출조건에 맞는 프레임 중 시설물이 타차에 의해 가려지는 프레임 수 계산
- 9) 2번~8번 과정을 1000회 이상 반복하여 각 시설물 별 와 계산
- 10) 식 (3)을 통해 평균 검출 프레임 수 계산
위의 절차를 통해 각 시설물별 평균 검출 프레임 수를 계산하면 Table 6과 같다. Table 6을 보면 교통흐름 모델을 적용하면 최대 시속 100 km/h로 등속 주행한 경우에 비해 타차의 진로 방해로 인해 감속이 발생하기 때문에 평균 검출 가능 프레임 수가 커진다. 평균 검출 프레임 수를 보면 시설물의 크기가 큰 표지판, 안전표지, 환풍기의 값이 크다. 평균 검출 프레임 수가 높으면 검출결과의 신뢰도를 높일 수 있고 알고리즘의 검출율이 낮은 경우에도 해당 시설물을 검출할 가능성이 높아진다. 또한 시설물의 검출 횟수가 많아지면 해당 시설물의 측위 정밀도 향상에 대한 기여도가 높아진다.
시인성은 앞에서 언급했듯이 시설물의 재질, 색상, 입사각, 관찰각에 따라 달라진다. 시인성 평가 시 관찰각은 “교통안전표지 설치관리 매뉴얼”20)의 Table 2-2인 차종별 관찰각과 관찰거리를 참고하여 0.2°와 0.5°로 설정하였다. 차량 전조등의 입사각은 표준시험규격(KS A 3507)의 최소/최대 값 (-4°, 30°)을 적용하였다.34) 시설물의 재질은 Table 1과 같이 반사지(Reflective film), 반사도료(Reflective paint), 반사렌즈(Reflector), 발광체(LED)로 구분되며, 반사지는 다시 캡슐렌즈 형, 프리즘 형 등 여러 종류가 존재한다. 반사지 종류 및 색상에 따른 반사성능, 즉 재귀휘도 계수(coefficient of retroreflected luminance)는 “교통안전표지 설치관리 매뉴얼”20)의 Table 2~3부터 Table 2~7까지를 참고했다.
재질이 주로 반사도료로 되어있는 시설물은 노면표시, 차로 표시선, 빗금 표지물이 있다. 노면표시와 차로 표시선의 경우 노면에 존재하기 때문에 다른 시설물과 달리 빛의 입사각이 일반적으로 커지게 된다. 따라서 이 경우 재귀휘도 계수를 측정하는 조건을 Fig. 7과 같이 다르게 적용하였다.35)
Fig. 7의 조건에 맞게 측정된 노면표시 및 차로 표시선을 위한 반사도료의 재귀휘도 계수는 “4-5종 차선의 시공품질 및 내구성능 확보방안 연구”36)의 Table 3.5를 참조하였다. 2000년 이후, 노면표시 및 차로 표시선은 재귀휘도 계수가 150 cd/(lx・m2)이상이어야 하며, 준공 시에 백색은 240 cd/(lx・m2), 황색은 150 cd/(lx・m2) 이상이어야 한다. 빗금 표지물의 경우, 반사도료를 사용하지만 노면에 존재하는 시설물이 아니기 때문에 입사각과 관찰각을 다른 시설물과 동일하게 설정하여 재귀휘도 계수를 측정한다. 이에 대한 결과는 “도로안전시설 설치 및 관리 지침-시선유도시설 편”21)의 Table 5.4를 참조하였다.
반사렌즈를 사용하는 시설물에는 운전자에게 중앙분리대와 같은 위험물이 존재한다는 것을 알리는 장애물 표적표지가 있다. 장애물 표적표지의 반사렌즈는 주로 황색으로 제작되며, 재귀휘도 계수는 “도로안전시설 설치 및 관리 지침-시선유도시설 편”21)의 Table 5.2를 참조하였다.
반사재질이 아닌 차로 상태표시등과 같이 발광체로 제작된 시설물이 있다. 이런 경우엔 시인성을 측정하는데 재귀휘도 계수가 아닌 휘도(luminance)를 측정한다. 차로 상태표시등에 대한 휘도 성능은 “LED 교통신호등표준지침”29)의 Table 10을 참조하였다.
Table 7은 참고문헌을 조사하여 계산한 각 시설물의 재귀휘도 계수 또는 휘도 성능 및 2.2에서 설명한 방식으로 계산한 시인성 점수를 보여준다. Table 7에서 시설물이 2종의 색상으로 구성된 경우 재귀휘도 계수는 바탕색(Background)과 내부 표식(Pattern)색의 비율을 1:1로 가정하고, 앞에서 언급한 입사각과 관찰각을 참고하여 재귀휘도 계수의 평균으로 계산하였다. 노면표시와 차로표시선의 경우는 준공 시의 재귀휘도 계수와 재귀휘도 계수의 최소 허용 값을 평균하였다.
평균 검출 프레임 수가 2 미만인 시선유도표지, 시선유도봉, 비상구표시, 소화전은 이미 측위에 적합하지 않는 것으로 판명되었기 때문에, Table 7의 시인성 평가에서 배제하였다. 표지판의 경우 바탕색의 종류가 녹, 청, 흰색으로 3가지인데 서울TG~호법JC까지 존재하는 표지판의 바탕색에 따른 비율을 조사한 결과 0.8, 0.15, 0.05였다. 이를 가중치로 사용하여 Table 7의 표지판 재귀휘도 계수를 가중합하면 137.1 cd/(lx・m2)이 되며, 이것으로 시인성 점수를 계산하였다.
3.3 지도 정합성(Map matchability)
Table 10은 각 시설물별 설치간격과 식(6)에 의해 계산한 지도 정합성 점수(M) 결과이다. Table 10의 경우, 대부분의 시설물이 특정위치에 설치되거나 최소 설치간격이 5 m 이상이어서 최고점을 받았다. 시선유도봉은 비교적 촘촘하게 설치되어 지도 정합성 점수가 낮았다. 또한, 차로표시선, 환풍기, 차로상태 표시등은 차로마다 존재할 수 있기 때문에 종방향(Longitudinal direction)으로는 설치 간격이 5 m 이상이지만 횡방향(Lateral direction)으로는 설치간격이 차로 폭(3.5 m)이 되어, 지도 정합성 점수가 차로 폭의 2배로 계산되었다.
3.4 측위 강건성(Localization robustness)
측위 강건성 점수를 계산하기 위해서는 상대 또는 절대 측위 시 오차 발생요소에 대한 측위 결과의 표준편차를 계산해야 한다. 이는 다음과 같은 절차로 시뮬레이션을 통해 계산되었다.
- 1) 차량을 i 번째 차로에 배치
- 2) 차량과 시설물 간의 종방향 거리가 시설물 별 최소 검출 가능거리(Table 5참조)가 되도록 차량 이동
- ※ 시설물의 차로 배치는 Table 1 참조
- 3) 오차 발생요소에 대해 일정 범위 내에, 일정 간격으로 오차를 발생시킨 후 측위 수행
- 4) 차로 i 를 1~4 범위에서 변화시키면서 위의 실험을 100회 반복하여, 실제 차량위치를 기준으로 3)에서 구한 측위 결과의 표준편차 측정
위의 방법에서 시설물과 카메라 간의 종방향 거리를 최소 검출 가능거리로 설정한 이유는 시설물과 카메라 간의 거리가 가까울수록 측위 정밀도가 높아지기 때문이다.
상대측위 시 설치높이 오차(σh), 카메라 각도 오차(σa), 시설물 검출 오차(σd)에 대한 측위의 표준편차를 구한 후, 식 (10)에 의해서 계산된 강건성 점수(Pr)는 Table 11과 같다. 각 시설물별 설치높이 오차에 대한 상대측위 표준편차는 Table 11의 4번째 열과 같으며, 각 시설물의 설치 높이오차를 -0.1 ~ 0.1 m범위 내에 1 cm 간격으로 변화시키면서 측위 표준편차를 측정하였다. 시설물 중 노면에 칠해진 노면표시와 차로표시선의 경우 설치높이가 0 m로 고정이고 지도에 잘못 기록될 가능성이 없다. 따라서 해당 시설물의 경우에는 설치높이 오차를 0 m로 설정하였다. Table 11의 4번째 열을 보면 카메라와 설치 높이(1.5 m)가 유사한 장애물 표적표지, 빗금표지물, 갈매기 표지 등이 설치 높이의 오차에 민감하다. 그 이유는 설치 높이를 이용하여 추정하는 종방향 거리는 식 (8)에서 υg - oυ가 0에 가까울수록 오차에 민감해지기 때문이다.
카메라 외부변수 오차 중 카메라의 높이 오차는 시설물의 높이에 오차를 더한 것과 동일하므로 카메라의 각도 오차에 대해서만 실험하였다. 카메라의 사각(Tilt)을 0°도 일 때 광축이 노면의 법선 벡터와 수직이 된다는 가정 하에서 사각에 -1° ~ 1°범위에서 0.1°간격으로 오차를 발생시키면서 상대측위 오차의 표준편차를 측정하였다. 이를 본 논문에서는 카메라의 각도 오차로 정의하였다. 카메라 각도 오차에 대한 상대측위 결과의 표준편차는 Table 11의 5번째 열과 같다. 차량 주변의 노면은 평면이라는 가정 하에 카메라 캘리브레이션에 의해 카메라의 사각이 계산된다. 하지만 차량에서 멀어질수록 노면이 평면이라는 가정이 유효하지 않을 가능성이 크며, 차량의 주행상태에 따라(예: 가속 또는 감속) 앞뒤로 쏠릴 수 있어 카메라 각도 오차가 발생할 수 있다. Table 11의 5번째 열을 보면 장애물 표적표지의 표준편차가 굉장히 큼을 알 수 있는데, 이것은 설치높이 오차의 경우와 유사하게 카메라 각도 오차로 인해 식 (8)에서 υg - oυ이 0에 가까워졌기 때문이다.
영상에서의 시설물의 높이를 측정하는 점의 검출오차에 대한 상대측위 표준편차는 Table 11의 6번째 열과 같다. 검출된 시설물의 높이 측정 점의 좌표에 표준편차를 0 ~ 5 범위에서 1씩 변화시키면서 가우시안 잡음을 더했다. 예상한대로 영상에 투영된 시설물의 높이 측정 점의 위치가 영상의 주점에 근접할수록, 즉 시설물의 설치높이가 카메라 높이와 유사할 때, 오차에 민감해졌다.
Table 12는 절대측위 시 시설물의 포즈변화(σp)와 특징점 검출오차(σd)에 대한 측위의 표준편차, 그리고 식 (11)에 의해서 계산된 강건성 점수(Pg)를 보여준다. 시설물의 포즈변화는 시설물 기준 3축(x, y, z)에 대하여 각 각도별로 -10°~10°범위에서 1°간격으로 포즈를 변화시켰다. 이에 대한 시설물 별 절대측위 표준편차 결과는 Table 12의 6번째 열과 같다. Table 13의 결과는 절대측위가 가능한, 즉 4점 이상의 특징점이 시설물에 존재하는, 경우에 대해서만 산출하였다. Table 12에서 갈매기표지, 빗금표지물, 차로 상태표시등은 구조물의 벽면에 부착되거나 상대적으로 굵은 기둥에 부착되기 때문에 포즈변화가 없을 것으로 가정하였다. Table 12의 7번째 열은 영상에서의 시설물의 특징점 검출오차에 대한 절대측위의 표준편차이다. 2.4에서 언급했듯이 최소검출 가능거리가 짧을수록 측위 표준편차는 작음을 알 수 있다. Table 12의 2번째 열인 시설물의 한 변의 길이는 시설물의 면적의 제곱근으로 계산했다. Table 12의 특징점 검출오차에 대한 절대측위 결과는 검출좌표에 가우시안 잡음을 표준편차 0 ~ 0.5 범위에서 0.1씩 변화시키면서 계산하였다. 상대측위와 다르게 절대측위의 경우, 검출오차의 잡음크기를 0.1배로 줄여서 실험했다. 그 이유는 절대측위의 경우 카메라와 시설물간의 거리뿐 아니라 상대적인 자세도 구해야 하는데 검출오차가 크게 되면 4점만 사용하여 구해진 자세의 오차가 매우 커질 수 있기 때문이다. Table 12의 검출오차에 대한 절대측위 표준편차를 보면 표지판의 경우 차로 상태표시등에 비해 최소 검출 가능거리가 멀지만 투영된 시설물의 크기가 커서 측위 표준편차가 작다. 절대측위의 표준편차는 최소 검출 가능거리가 멀고 시설물 크기가 작을수록 커지게 된다.
3.5 관찰 빈도(Observation frequency)
본 논문에서는 관찰 빈도를 측정하기 위해 실제 고속도로 구간(영동고속도로 상행선 서울 TG부터 호법 JC 약 42 km)에 설치된 시설물을 직접 개수하였다. Table 14는 식 (12)을 통해 실제 설치된 개수를 관찰 빈도 점수(F)로 환산한 결과이다.
Table 14를 보면 안전표지(지시)는 거의 관찰되지 않았다. 터널에 설치되는 시설물인 비상구표시, 환풍기, 소화전, 차로 상태 표시등은 측정 구간에 터널이 많지 않아서 관찰되는 횟수가 적었으며, 점선 차로 표시선의 경우는 실제 개수를 세기 어려울 정도로 많아 최고점을 부여했다. 또한 시선유도봉의 경우도 1 km당 11개 이상 관찰되어 최고점을 부여하였다.
3.6 랜드마크 적합성(Landmark suitability)
최종적으로 랜드마크 적합성을 계산하기 위해 각 평가항목에 대한 가중치를 총 22명의 전문가들에게 자문하여 구하였다. 각 항목별로 중요도를 5단계(매우 중요, 중요, 보통, 중요하지 않음, 필요 없음)로 나누어 설문하고, 그 결과를 평균하여 가중치를 계산하였다. 설문에 응한 전문가들의 연구분야, 연구경력 및 소속에 대한 분포는 Fig. 8과 같다. Fig. 8(a)를 보면 전문가들의 연구분야는 시설물 검출과 관련된 신호처리, 자율 주행차 제어 그리고 시설물 및 정밀지도 생성과 관리에 관련된 전자지도 및 교통공학이다. 전문가들의 연구 경력은 대부분 10년 이상이며 소속기관은 대부분 학계와 자동차 관련 기업들이었다. Table 15는 평가 항목별 가중치와 이를 반영한 각 시설물의 최종 적합성 점수를 보여준다. Table 15의 평가항목 명 아래 숫자가 항목에 대한 가중치인데 설문결과 가중치가 고르게 나왔다.
Table 15를 보면 차로 표시선이 관찰빈도가 높고 측위 강건성이 높아 측위에 가장 적합한 도로 시설물로 판명되었다. 특히 차로 표시선의 경우 이를 활용한 고속도로 및 시내도로에서의 측위 시스템에 관한 많은 연구가 수행되었다.15) 차로 표시선 이외에 운전자의 시야에 잘 띄는 표지판이나 안전표지, 노면표시가 적합도가 높아 추가로 사용될 수 있는 시설물로 분류되었다. 시선유도표지 및 시선유도봉는 시설물의 크기가 작아 검출적합성이 떨어져 사용하기 어려우며, 비상구 및 소화전 표시는 터널 벽면에 부착되어 카메라에 투영된 크기가 작아서 활용하기 어려운 것으로 나타났다. 빗금표지물이나 장애물 표적표지와 같이 설치높이가 카메라 높이와 유사한 경우에는 측위 오차가 커져서 부적합한 것으로 나타났다. 갈매기 표지의 경우 곡선도로에만 설치되어 있으며, 이 경우에는 차선만으로도 정밀측위가 가능하여 활용도가 떨어지는 것으로 평가되었다. 환풍기나 차로 상태 표시등은 관찰빈도 및 검출적합성이 떨어져 측위에 적합하지 않은 것으로 나타났다. 결론적으로, 차로 표시선을 주 랜드마크로 측위에 활용하고 표지판, 노면표시 및 교통안전표지를 함께 사용하는 것이 가장 적합하다고 판단된다.
4. 결론 및 향후계획
본 논문에서는 지도 정합 방식 측위를 네 단계로 분류하고 각 단계에 필요한 특성을 고려하여 고속도로 시설물의 랜드마크 적합성을 평가하는 방법과 결과를 제시하였다. 본 논문의 결과는 단안 카메라를 활용한 지도 정합 기반 측위 시 어떤 시설물을 우선적으로 전자지도에 저장하고 관리해야 되는지에 대한 근거를 제공할 것으로 기대된다.
본 논문에서 아쉬운 점은 시뮬레이션에서 다양한 도로상황을 반영하지 못하고 직선 도로만 가정한 점과 시설물 포즈와 같이 실제 상황에서 변화시키면서 실험할 수 없는 조건 때문에 시뮬레이션 위주로 평가한 점이다. 또한 본 논문은 고속도로 시설물을 개별적으로 측위에 활용할 경우의 적합성만 평가하였는데, 여러 도로 시설물을 복합적으로 활용할 경우의 적합성에 대해선 추가 연구가 필요하다. 향후 위에서 언급한 부분을 반영하여 적합성 평가를 개선하고, 실차 실험을 통해 적합성 평가 결과를 검증하고 그 결과를 토대로 항목별 가중치를 개선할 계획이다. 또한 측위에 적합한 시설물을 전자지도에 저장될 때 어떤 정보가 저장되어야 하는지에 대해서 지침을 개발할 예정이며 해당 시설물을 활용하여 우리가 원하는 수준의 측위 정밀도를 갖기 위해서 시설물의 설치, 제작, 유지보수를 어떤 규격으로 수행해야 되는지에 대한 지침을 개발 할 계획이다. 끝으로 본 논문에서는 고속도로 시설물에 대해서만 다루었는데 이를 확장하여 일반 시내도로 환경에 대해서도 연구할 계획이다.
Nomenclature
Da : | detectability |
: | average number of images where an object is detected |
V : | visibility |
S : | shape consistency |
Dr : | relative detectability |
: | average number of images where an object is occluded |
: | average number of images where an object is observed |
Vp : | processing rate per second |
: | average driving distance per second |
: | visibility at night |
: | coefficient of retroreflected luminance |
: | shape invariance |
: | size ratio invariance |
: | inside pattern invariance |
Mi : | map matchability |
: | installation interval |
: | relative localization robustness |
: | global localization robustness |
Fi : | observation frequency |
: | suitability of ith landmark for localization |
σh : | installation height error standard deviation |
σa : | camera angle error standard deviation |
σd : | detected position error standard deviation |
σp : | object pose error standard deviation |
Acknowledgments
본 연구는 국토교통부 ‘자율협력주행을 위한 LDM 및 V2X기반 도로시스템 개발’ 연구개발사업의 연구비지원(과제번호 18TLRP-B101406-04)에 의해 수행되었습니다.
References
- J. Ziegler, P. Bender, M. Schreiber, H. Lategahn, T. Strauss, C. Stiller, T. Dang, U. Franke, N. Appenrodt, C. G. Kelle, E Kaus, R. G. Herrtwich, C. Rabe, D. Pfeiffer, F. Lindner, F. Stein, F. Erbs, M. Enzweiler, C. Knoppel, J. Hipp, M. Haueis, M. Trepte, C. Brenk, A. Tamke, M. Ghanaat, M. Braun, A. Joos, H. Fritz, H. Mock, M. Hein, and E. Zeeb, “Making Bertha Drive-An Autonomous Journey on a Historic Route”, IEEE Intelligent Transportation Systems Magazine, 6(2), p8-20, (2014). [https://doi.org/10.1109/mits.2014.2306552]
- N. Alam, and A. G. Dempster, “Cooperative Positioning for Vehicular Networks: Facts and Future”, IEEE Transactions on Intelligent Transportation Systems, 14(4), p1708-1717, (2013). [https://doi.org/10.1109/tits.2013.2266339]
- D. S. Yun, and H. S. Yu, “Development of the Optimized Autonomous Navigation Algorithm for the Unmanned Vehicle using Extended Kalman Filter”, Transactions of KSAE, 16(3), p7-14, (2008).
- J. K. Suhr, J. G. Jang, D. H. Min, and H. G. Jung, “Sensor Fusion-based Low-cost Vehicle Localization System for Complex Urban Environments”, IEEE Transactions on Intelligent Transportation Systems, 18(5), p1078-1086, (2017). [https://doi.org/10.1109/tits.2016.2595618]
- A. Y. Hata, and D. F. Wolf, “Feature Detection for Vehicle Localization in Urban Environments Using a Multilayer LIDAR”, IEEE Transactions on Intelligent Transportation Systems, 17(2), p420-429, (2016). [https://doi.org/10.1109/tits.2015.2477817]
- M. Stübler, J. Wiest, and K. Dietmayer, “Feature-based Mapping and Self-localization for Road Vehicles Using a Single Grayscale Camera”, 2015 IEEE Intelligent Vehicles Symposium(IV), p267-272, (2015).
- K. C. Jo, Y. W. Jo, J. K. Suhr, H. G. Jung, and M. H. Sunwoo, “Precise Localization of an Autonomous Car Based on Probabilistic Noise Models of Road Surface Marker Features Using Multiple Cameras”, IEEE Transactions on Intelligent Transportation Systems, 16(6), p3377-3392, (2015). [https://doi.org/10.1109/tits.2015.2450738]
- Y. Yuan, Z. Xiong, and Q. Wang, “An Incremental Framework for Video-Based Traffic Sign Detection, Tracking, and Recognition”, IEEE Transactions on Intelligent Transportation Systems, 18(7), p1918-1929, (2017). [https://doi.org/10.1109/tits.2016.2614548]
- J. C. Mccall, and M. M. Trivedi, “Video-based Lane Estimation and Tracking for Driver Assistance: Survey, System, and Evaluation”, IEEE Transactions on Intelligent Transportation Systems, 7(1), p20-37, (2006). [https://doi.org/10.1109/tits.2006.869595]
- H. S. Lee, and K. Kim, “Simultaneous Traffic Sign Detection and Boundary Estimation Using Convolutional Neural Network”, IEEE Transactions on Intelligent Transportation Systems, 19(5), p1652-1663, (2018). [https://doi.org/10.1109/tits.2018.2801560]
- J. Han, B. Y. Kang, and J. H. Kwon, “Development of GPS / IMU / SPR Integrated Algorithm and Performance Analysis for Determination of Precise Car Positioning”, Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 32(2), p163–-171, (2014).
- S. J. Lee, J. K. Suhr, and H. G. Jung, “Corner Detection-based Road Sign Detection for Low-cost Sensor Fusion-based Precise Localization System”, Transactions of KSAE, 26(1), p20-31, (2018). [https://doi.org/10.7467/ksae.2018.26.1.020]
- L. D. Alfonso, E. Garone, P. Muraca, and P. Pugliese, “On the use of IMUs in the PnP Problem”, 2014 IEEE International Conference on Robotics and Automation (ICRA), (2014). [https://doi.org/10.1109/icra.2014.6906963]
- S. Umeyama, “Least-Squares Estimation of Transformation Parameters Between Two Point Patterns”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(4), p376-380, (1991). [https://doi.org/10.1109/34.88573]
- S. Kuutti, S. Fallah, K. Katsaros, M. Dianati, F. Mccullough, and A. Mouzakitis, “A Survey of the State-of-the-Art Localization Techniques and Their Potentials for Autonomous Vehicle Applications”, IEEE Internet of Things Journal, 5(2), p829-846, (2018). [https://doi.org/10.1109/jiot.2018.2812300]
- Morethanoneanimal, Nagel-Schreckenberg Traffic Simulation, https://github.com/morethanoneanimal/Nagel-Schreckenberg-simulation/ (2018).
- MathWorks, Extrinsics https://kr.mathworks.com/help/vision/ref/extrinsics.html (2018).
- 국토교통부, 제4조 도로표지의 표지판·글자 및 지주의 규격 등, 국토교통부령 제 111호 도로표지규칙
- 국토교통부, 도로표지의 규격상세 및 설치방법 등(제6조제1항제1호 관련)
- 경찰청, 교통안전표지 설치관리 매뉴얼, (2011).
- 국토해양부, 도로안전시설 설치 및 관리 지침 – 시선유도시설 편, (2012).
- 경찰청, 교통노면표시 설치관리 매뉴얼, (2012).
- 단순보이앤씨, 도로 노면표시 종류 및 설치기준, https://m.blog.naver.com/jam444/220782324422 (2018).
- 국민안전처, 유도등 및 유도표지의 화재안전기준(NFSC303)해설, (2016).
- 나라장터, 유도등 엘아이에스, http://g2b.go.kr:8100/retrieveResult.do?cmd=READ&retrieveEntCls=4&retrieveEntID=21716257 (2018).
- 국토교통부, 도로터널 방재시설 설치 및 관리지침 개정 연구, (2015).
- 윤찬훈, 초장대 도로터널을 위한 수갱+제트팬 환기방식 최적화에 대한 연구”, 석사학위논문, 인하대학교, 인천, (2004).
- 닥터파이어, 소화전사용법, https://m.blog.naver.com/jmsys14/220500953743 (2018).
- 경찰청, LED 교통신호등 표준지침, (2011).
- Smart Safety, 안전보건표지의 종류, https://m.blog.naver.com/koshamedia/120207651222 (2018).
- 한국도로공사, 고속도로 공공데이터 포털, http://data.ex.co.kr/ (2018).
- 한국도로공사, 차종구분, http://www.ex.co.kr/site/com/pageProcess.do?oneDpMnNo=&selDpPgNm=menuno%3D100401011&selDpMnNo=¶mStr=&detailTp=&dirNm=portal&kwd= (2018).
- E-나라지표, 고속국도 차량이용 현황, http://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=1208 (2018).
- 한국표준협회, 재귀반사시트에 대한 한국산업규격 KSA3507
- 양신환, 노면표시 기준과 측정표준, 교통과학연구원, (2017).
- 한국도로공사, 도로교통연구원, 4-5종 차선의 시공품질 및 내구성능 확보방안 연구, (2016).