다기능 전방 카메라 개발을 위한 영상 DB 구축 방법에 관한 연구

2.1 렌즈 설계

렌즈 설계에서 고려해야 할 주요 항목은 FoV (Field of View), 렌즈 왜곡, MTF(Modulation Transfer Function), 상대 조도, CRA(Chief Ray Angle), EFL (Equivalent Focal Length) 등이다. 렌즈를 포함한 이미징 모듈에서 설계의 관점은 사람의 시각으로 평가되는 화질이 아니라, 배경과 관심 영역을 분리하거나 물체의 특징점을 추출하기 위한 영상 처리 알고리즘에서 요구되는 최적화 인자가 되어야 한다는 것이다. 하지만, 다기능 카메라 시스템에서는 각 기능마다 요구되는 영상 화질의 특성이 상반되는 경우가 발생한다. 예를 들어 차선 인식 기능의 경우는 수평 화각은 좁고 초점 거리는 최대한 원거리까지 맞추어야 하나, 보행자 인식 기능의 경우는 수평 화각은 넓고 초점 거리는 근거리로 맞추어야 한다. 결국, 다기능 카메라 시스템에서는 특정 기능에 최적화된 렌즈 설계 인자로 최적화할 수 없으며, 각 기능별로 요구되는 대립 인자를 상호 보완하여 설계해야 한다. 일반적으로 다양한 실제 도로 주행 영상을 DB로 취득하고 색인된 영상 DB를 기반으로 인식 알고리즘을 개발하고 성능을 고도화한다. 만일, 대용량 영상 DB를 모두 구축한 이후 렌즈 특성의 부적합에 기인하여 신뢰성 있는 카메라 기능을 구현할 수 없다는 것이 판명된다면, 렌즈를 재설계하고 영상 DB를 다시 구축해야 하는 개발 일정과 자원의 낭비를 초래하게 된다. 따라서 모든 알고리즘이 요구하는 최소한의 렌즈 성능을 검증한 이후에 영상 DB 구축을 시작하여야 하며, 적정 수준의 알고리즘 검증 단계 영상 DB를 취득하여 향후 카메라 알고리즘의 개선만으로 각 알고리즘의 목표 성능 구현이 가능하다는 판단 지표를 근거로 대용량 영상 DB 구축 작업을 실행해야 한다.

2.2 이미지 센서 설계

자동긴급제동과 같은 기능을 안전하게 구현하기 위해서는 가능한 빠른 영상 프레임 처리 속도가 요구된다. 각 영상 처리 알고리즘에 필요한 노출 모드(Exposure mode)가 상반된 조건을 요구하는 경우가 발생하므로 서로 다른 노출 모드를 자동 변경하는 기능이 지원되어야 하며, 최소 2개 이상의 독립적인 노출 모드별로 초당 30 프레임 처리속도(Frame per second : fps)를 제공하기 위해서는 전체 영상 프레임 처리속도는 60 fps 이상의 전송 속도가 필요하다. 또한, 주행 중 급격하게 변화하는 조명 변화와 다양한 대상 물체의 반사 특징에 강인한 화질의 영상을 취득하기 위해서는 최소 120 dB 이상의 명암비(Dynamic range)도 요구된다. Fig. 2는 전방 카메라가 감지해야 하는 대표적인 대상 물체별 휘도(Luminance) 특성 영역을 표시하였다.

Fig. 2

Overview of the interesting luminance range for front looking camera system

2.1절에서 각 알고리즘의 성능 확보가 가능한 렌즈 설계가 완료된 이후에 대용량 영상 DB 구축을 착수해야 한다는 점을 지적한 바와 같이 이미지 센서의 레지스터 설정(Register setting)과 노출 모드에 대한 프레임 제어로직(Frame control logic) 설계로 각 알고리즘의 목표 성능 확보가 가능하다는 검증이 완료된 이후에 영상 DB 구축을 진행해야 한다.

2.3 영상 녹화 및 검증 인터페이스 장치

개발하려는 전방 카메라시스템을 이용하여 실차 환경에서 주행 영상을 실시간으로 취득하기 위해서는 차량 탑재가 가능한 영상 DB DAQ(Data Acquisition) 시스템의 개발이 필요하다. 통상적으로 영상 DB DAQ 시스템은 메인 콘트롤러 모듈과 HD급 해상도의 영상 데이터를 고속으로 전송하기 위한 프로세싱 보드, 차량 내부의 센서를 통해 거동정보 취득을 위한 CAN I/F 보드, 자차의 전역 위치 정보 수집을 위한 GPS 모듈, 그리고 취득된 영상정보 및 차량거동/위치 정보 저장을 위한 대용량 저장장치(HDD) 모듈 등으로 구성된다. 대다수의 연구기관들은 자동차부품연구원에 구축된 시스템^8),9)과 같이 표준 상용 장비를 이용하여 DAQ시스템을 구성하고 있다. 그러나 목적하는 카메라 시스템의 영상 포맷, 컬러 좌표계, 해상도, 프레임 속도 등의 특성에 최적화된 DAQ 시스템을 자체적으로 설계하여, 개발자가 필요한 모든 기능을 구현하면서도 초소형, 경량화 가능한 확장보드 형태로 개발하는 것도 고려할 수 있다. Fig. 3은 국내 자동차 부품업체인 M사에서 독자 다기능 전방카메라 개발을 위해 별도로 개발한 영상DB DAQ 시스템의 사례이다.

Fig. 3

Example of image DB DAQ system using target multi-function camera specific daughter board

3.1 영상 녹화 계획

알고리즘의 개발 및 성능 평가를 위해 촬영 장면(Scene)에 대한 요구사항 분석을 수행한다. 요구 사항 분석에서는 다기능 카메라 알고리즘 개발에 공통적으로 반영되는 화질 변화 요소를 우선 고려한다. 조명 변화에 의한 카메라 입력 화질에 영향을 주는 계절, 시간, 날씨 변화를 포함하고, 장면의 복잡도에 영향을 주는 도로 환경(도심로, 자동차 전용도로, 일반국도, 지방도로 등)을 포함한다. 카메라의 영상 취득 속도에 영향을 주는 자차의 주행 속도 변화도 반영한다. 다음은 다기능 카메라의 각 기능별로 필요한 변화 요소를 고려한다. 차량 검출(Vehicle detection) 알고리즘의 경우는 다양한 차종, 차속과 위치변화가 녹화되어야 하며, 차선 검출(Lane detection) 알고리즘의 경우는 모든 차선의 종류가 포함되어야 한다. 상대 차량의 차종과 상대 속도는 사전 계획에 포함될 수 없는 변화 요소이므로 다양한 차량 종류가 촬영될 가능성이 높은 이동 경로를 선택하여 녹화를 한다. 도로 표지판 인식(Traffic sign recognition)알고리즘도 다양한 표지판의 종류가 필요한 개수만큼 녹화되어야 한다. 차선, 표지판의 종류는 사전에 설치 위치 정보를 입수하여 경로 계획을 수립함으로써, 최단의 경로 주행으로 최대한 많은 대상 장면을 녹화하기 위한 경로 계획을 수립한다. 독일 남부의 농촌도로에서 속도 제한 표지판의 위치 정보를 근거로 경로 계획을 세운 예제를 Fig. 4에 나타내었다.

Fig. 4

Example of image DB logging route planning for traffic sign recognition

3.2 영상 DB 개발 환경

도로 주행영상 녹화가 완료되면 녹화된 영상은 DB 서버 시스템으로 저장한다. 영상 DB 서버 시스템은 단순 저장의 기능뿐 아니라, 영상의 속성 (Attribute)을 분석하고, 분석된 결과를 개발자가 이해하기 쉬운 형태로 보여주는 기능까지 포함되어야 한다. 이 단계부터 영상 데이터는 비용과 개발 일정이 투입된 연구 자산이므로 단전, 침수, 지진 등과 같은 천재지변에도 훼손을 막을 수 있고, 시스템 오류, 사이버 해킹 등의 위험 요소에도 안전하게 보관될 수 있는 데이터센터 시설에 보관된다. 특히, 글로벌 시장을 목표로 개발되는 제품은 특정 국가의 환경에 국한되지 않고, 북미, 유럽, 아시아 등 전 세계에 흩어진 도로에서 취득된 영상 DB가 중앙 데이터 센터로 고속 네트워크를 통해 전송될 필요가 있다.

영상에 대한 속성은 녹화된 지역과 일시, 도로 조건, 날씨 조건, 주행 거리 등과 같은 영상에 대한 일반 속성과 녹화된 영상에서 각 장면마다 관심 내용에 해당되는 실측값(Ground Truth : GT)이 속성값으로 입력되어야 한다. GT 데이터는 그 자체만으로도 방대한 크기를 가지는 데이터이므로 빠른 검색이 가능해야 하고, 개별 인식 알고리즘의 구조 및 방법론과 밀접하게 관련되어 있으므로 GT 속성을 위한 데이터 구조 설계에 대한 연구가 필요하다. GT 속성에 대해서는 제4장에서 상세하게 서술하기로 한다. 도로 영상을 녹화한 원본 데이터와 영상 속성 데이터는 서로 동기화되어 관리된다.

지금까지 설명된 영상 DB는 알고리즘 성능을 육성하는 과정에서 새로이 추가되거나 삭제 또는 변경되면서 완성도가 높은 DB로 개발된다. DB 자체를 튜닝하면서 완성도롤 높이고, 특정 장면에 대한 알고리즘 성능 평가 등을 수행하기 위해서 영상 스트리밍(Streaming) 또는 단위 프레임별로 원본 영상과 속성 데이터를 빠르게 검색하는 기능이 필요하다.

또한, 보고서, 기술문서 등의 작성을 위해 영상 속성별로 통계 그래프와 표를 자동으로 생성하는 기능까지 구현할 수 있다. 도로 환경, 주행 거리, 날씨, 노면 상태 등의 속성별로 통계 결과를 자동으로 생성되도록 만들 수 있다.

4.1 GT 입력방법

다기능 카메라 알고리즘은 학습 기반 알고리즘과 특징점 기반 알고리즘으로 구분되어진다. 학습 기반 알고리즘은 영상 DB의 GT 속성을 기준으로 지도학습(Supervised learning) 방법을 통해서 물체 분류기(Classifier)를 구현한다. 그리고 학습에 사용되지 않았던 나머지 영상들은 GT 속성을 기준으로 영상 DB 기반 성능 평가에 이용된다. 반면에, 특징점 기반 알고리즘은 학습을 할 필요가 없으므로 영상 DB는 성능평가 용도로만 사용된다.

차선검출은 일반적으로 특징점 기반 알고리즘으로 구현된다. 이때, 차선의 GT 속성은 노면 표시와 신호에 대한 비엔나 협약¹⁰⁾에 명시된 차선의 형태에 의한 분류(실선, 복선, 점선, 실선과점선, 지그재그선), 색상에 의한 분류(백색, 황색, 청색 등)를 GT 속성으로 입력한다. 또한, 자차를 기준으로 왼쪽과 오른쪽 차선을 구분해야하고, 차선의 노후화나 환경적 요인에 의한 품질을 구분할 필요도 있으며, 가드레일(Guard rail), 연석, 교차선, 사선, 돌출형 차선(Botts' dots) 등과 같이 준차선 역할을 하는 속성을 입력해서 성능평가에 사용한다.

차량검출은 기본적으로 선행차량의 후방 영역을 속성으로 입력한다. 하지만, 카메라 기능의 필요에 의해서 반대편 차선에 있는 대항차량의 앞면 영역도 속성으로 입력할 수 있다. 실제 카메라에서 차량 영상을 녹화하는 과정에서는 관심 차량의 후방과 전방 영역만 보이는 것이 아니라, 측방 영역도 동시에 보이는 경우도 발생된다. 이때, 측방 영역을 무시하고 전/후방 영역만 GT로 입력할 것인지, 측방 영역을 별도로 GT로 입력할 것인지, 아니면 측후방 또는 측전방 영역을 하나의 영역으로 처리할 것인지도 알고리즘 개발 방향에 맞게 결정해야 한다. 차량 영역의 크기와 위치에 대한 GT 입력 예제를 Fig. 5에 보였다. 차량의 특정 영역을 GT 속성으로 입력하는 경우, 입력하고자 하는 차량 영역이 주변 차량 또는 다른 도로 요소에 의해 일부 가리워지는 경우가 존재한다. 가리워진 경우는 영상 DB에서 제외할 것인지, 가리워진 영역을 GT 속성으로 기록할 것인지도 설계 시에 결정되어야 한다. 또한, 차종(승용차, 승합차, 소형/대형트럭, 버스, 특수차 등)도 GT 속성에 포함될 수 있다. 특수한 상황으로 화물이 적재된 대형 트럭의 후방 영역은 차량 자체 모습보다 적재된 화물의 모습이 GT 영상에서 지배적인 차량 후방 영역으로 나타나게 된다.

Fig. 5

GT labeling examples for vehicle detection at various view points

교통표지판은 표지판의 위치검출과 검출된 표지판의 의미를 인식하는 문제로 나뉜다. 현재는 ADAS 기능에서 속도제한표시만을 인식하는 기능으로 양산되고 있으나, 앞으로 부분 자율주행, 완전 자율주행을 위해서는 인식할 표지판의 종류가 대폭 확대될 필요가 있다. 최근에 LED 표지판이 기존의 교통표지판과 병행되어 설치되고 있어서 LED 표지판 여부가 GT 속성으로 기록되어야 한다. 유럽의 독일에서는 마을의 진입과 진출을 표시하는 사각형 표지판이 50 km 속도제한의 의미를 내포하고 있기 때문에 GT로 기록하고 인식 대상에도 포함되어야 한다. 유럽지역에는 대형차의 후미부에 속도제한표시 스티커가 부착되어 있어서 도로변에 설치된 속도제한표지판과 구분되어 GT 속성으로 기록되어야 한다. 다음은 교통표지판의품질 특성을 기록한다. Fig. 6에는 GT 특성으로 기록되어야 하는 가로수나 건물 부착물에 의한 가리워짐, 오염, 비정상적인 비틀림 또는 회전각도 등의 사례를 보였다.

Fig. 6

GT labeling examples for traffic sign recognition at extraordinary image conditions

본 논문에서는 차선검출, 차량검출, 교통표지판인식 등 3개 기능에 대해서 GT 입력 방법을 검토하였다. 양산 수준의 실차 신뢰성을 확보하기 위한 DB의 크기는 최소 수백시간 이상, 수만 km 이상의 거리를 주행한 영상이 필요하다. 이렇게 방대한 영상 데이터를 대상으로 지금까지 언급된 GT 속성을 모두 수동으로 입력한다면 방대한 레이블링 인력과 시간이 요구된다. 단순 반복 작업이 지속되면 작업자의 집중도 저하가 발생하기 때문에, 이에 따른 레이블링 품질의 불균일도 관리되어야 한다. 레이블링 속도를 개선하고, 품질을 균일하게 유지하기 위해서는 GT 속성 레이블링 작업을 자동화할 필요가 있다. 자동화가 쉬운 단순한 영상은 레이블링 Tool을 개발하여 자동 입력하고, 자동 입력에 실패한 영상 데이터만을 대상으로 수동으로 교정하는 개발환경이 구축되어야 신뢰성이 보장된 DB를 신속하게 확보할 수 있다.

4.2 영상 DB 보완 방법

영상 DB는 실차 주행 영상을 기준으로 제작된다. 하지만, 실차주행 영상으로 확보하기 어려운 상황도 존재한다. 예를 들어, 실험하고자 하는 속성(날씨, 조명, 자차속, 등)만 바꾸어서 정확하게 똑같은 주행환경을 반복해서 촬영할 수 없고, 사고의 위험성이 높은 상황이나, 실제 사고 상황을 의도적으로 연출하여 촬영하는 것도 불가능하다. 다음은 실차 영상 획득의 효율성 문제를 고려해야 한다. 속도제한표지판의 경우 특정도로에서 출현 빈도의 차이가 매우 크다. 고속도로에서는 100 km, 110 km 속도제한표지판의 빈도가 높고, 일반도로에서는 60 km, 80 km 표지판의 빈도가 높다. 반면에 10 km, 20 km와 같은 표지판의 설치 빈도는 매우 낮다. 출현 빈도가 낮은 속도표지판을 실차영상으로 다수 확보하기 위해서는 불필요한 장거리 주행이 수반된다. 즉, 도로 교통법에 의해 존재가 가능한 모든 속도제한표지판을 동일한 빈도로 영상 DB를 구축하는 것은 거의 불가능하다. 이러한 실차 주행 영상 획득의 문제점을 개선하기 위해 영상처리 기술을 이용하는 보완책을 제시한다. 첫째는 합성영상(Synthetic image)을 생성하는 방법이다. 합성영상은 실차 영상을 기준으로 원하는 속성만을 영상처리 알고리즘으로 변경하여 DB로 만드는 데이터이다. 주변 환경 조명(Ambient light)을 조정하거나, 교통표지판의 뒤틀림, 오염의 정도 등을 인위적으로 생성할 수 있다. 실차 영상에서는 빈도가 부족한 차선, 차량 또는 표지판을 일부 변형하여 새로운 데이터로 생성하여 인위적으로 빈도를 증가시킬 수도 있다. 생성된 DB는 알고리즘 학습용과 성능평가 용도로 모두 고려될 수 있다.

두 번째는 가상영상(Simulated image) 데이터이다. 컴퓨터그래픽스 기술을 이용하여 실차 영상에서는 취득이 불가능하거나 가상 환경이 실제 환경보다 실험하기에 효율적인 경우 사용을 고려할 수 있다. 실제 영상이 아니므로 학습용 데이터로는 사용하지 않은 것이 좋다. 합성영상과 가상영상은 GT 속성을 모델 기반으로 생성하기 때문에 영상을 쉽게 생성할 수 있고, GT색인을 할 필요도 없어서 영상 DB를 쉽고 빠르게 확장할 수 있는 장점이 있다. 실제 도로에서는 속도제한표지판이 낮은 빈도로 출현하기 때문에 짧은 주행 구간에서 다수의 인식 성능 평가를 수행할 수 없다. 하지만, Fig. 7과 같이 가상영상에서 속도제한표지판을 짧은 구간에서 반복적으로 생성한다면 짧은 주행 구간에서도 다수의 성능 평가가 가능하다.

Fig. 7

Examples for simulated speed limit sign image