나이트 비전 구현을 위한 적외선 외장 램프 선행 개발
Copyright Ⓒ 2023 KSAE / 217-02
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
With the recent advancements in autonomous driving technology, the function of external lamps has changed. Previously, the focus was on driver visibility-oriented functions. However, with the advancements in autonomous driving technology, the function of autonomous driving systems has evolved. Accordingly, the trend in automotive lamp lighting systems is moving toward securing the safety performance of intelligent vehicles linked to sensors. Therefore, to reflect this new trend, this paper aims to cover the prior development of infrared exterior lamps to implement Night Vision, a representative advanced safety performance system.
Keywords:
Infrared, Exterior lamp, Night vision, Low beam, High beam키워드:
적외선, 외장램프, 야간시야, 하향등, 상향등1. 서 론
최근 자율주행 기술 고도화에 따라 램프의 기능 역할이 변경되고 있다. 기존에는 드라이버의 시인성 위주의 기능에 집중했다면 자율 주행 기술의 고도화에 따라 자율 주행 시스템의 기능까지 포함한 컨셉으로 발전하고 있다. 이에 따라 Fig. 1과 같이 자동차 램프 조명 시스템 트렌드는 센서와 연계한 지능형 차량의 안전 성능을 확보하는 쪽으로 발전하고 있다.
Automotive lighting system trend
따라서, 본 논문에서는 이러한 새로운 트렌드를 반영하고자 대표적인 고급 안전 성능 시스템인 나이트 비전을 구현하기 위한 적외선 외장 램프 선행 개발을 진행한 내용을 다루고자 한다.
나이트 비전이란 주변 환경 조명이 전혀 없는 야간에서도 적외선 조명을 활용하여 차량 외장 램프 조명이 미 점등 상태에서도 외부 인식을 가능하게 해주는 안전 성능 시스템이다.
차량 자율 주행의 첫 단계인 센싱 과정에서 리던던시를 확보하는 것은 매우 중요한데, 나이트 비전은 눈, 비등의 기후 악조건에서도 주변환경 인식 성능이 뛰어나다. 따라서 자율주행 기술에 높은 연계성을 가진 기술이라 할 수 있다.1)
따라서 자율 주행과 연관된 나이트 비전 연구가 활발하게 이루어지고 있다. 차량 적용을 위해 소형화, 낮은 가격, 차량 안전 등급을 만족하는 설계 관련 연구,2) 자율주행을 위한 나이트비전 열영상 카메라의 노이즈를 줄이기 위한 연구,3) 나이트 비전 카메라의 화질 향상에 대한 연구4) 등의 다양한 연구가 이루어지고 있다. 다만, 나이트 비전의 카메라에 대한 상세 연구가 주를 이루고 있고, 실제 카메라가 인식하는 적외선을 송출할 수 있는 양산 가능 램프 및 구체적 개발 목표에 대한 연구가 없는 상황이라 본 연구를 진행하게 됐다.
나이트 비전 시스템의 기본 구성에는 Fig. 2와 같이 빌트인 캠, 근적외선램프, 원적외선램프가 있다.
Basic configuration of the night vision system
이때 기본 구성 방식의 근적외선과 원적외선 램프 선택 유무에 따라 Fig. 3과 같이 크게 세 가지의 나이트 비전 방식으로 분류된다.5)
Night vision method
첫번째 근적외선 방식은 차량에서 적외선을 생성하고 카메라를 이용해 반사광을 탐지하는 방식이다.3) 생물, 무생물 구분은 되지 않지만 가까운 거리를 감지하는 만큼 주변 환경 감지가 용이하다. 이 경우에는 적외선 램프가 필요한데, 원적외선 방식에 활용되는 원적외선 센서 대비해서는 저렴한 가격인 관계로 원가적으로도 유리한 방식이다.
원적외선 방식은 생물체 자체에서 발산되는 발열을 감지하는 방식이다. 생물체 구분은 용이하나, 주변 환경 감지가 어려우며 다른 발열체의 영향을 받고 고가의 원적외선이 이용된다. 이 방식은 AUDI, BMW 등 경쟁사에서 사용 중이다.
마지막으로 근적외선과 원적외선 혼합 방식이 있다. 이 경우 앞서 언급한 각 기능이 모두 작동하므로 전방 이미지 및 생물 구분 모두 용이하다. 물론 상품적으로는 매우 우수하지만 원가 측면에서 제일 불리해진다. 이 방식은 Maybach에서 사용 중이다.
원가 및 감지 용이성을 고려하여 본 논문에서는 근적외선 방식을 이용한 나이트 비전 시스템 선행 개발에 대한 내용을 다루고자 한다.
일반적으로 야간 주행 조건에서 마주오는 차의 눈부심을 우려하여 HIGH BEAM 점등을 꺼리게 되는데, 이러한 나이트 비전 시스템을 LOW BEAM 점등 조건에서 동시에 활용해주면 Fig. 4와 같이 이러한 눈부심 우려 없이 HIGH BEAM 수준의 외부 환경 인지가 가능하다.
HIGH BEAM alternative infrared operation concept
2. 적외선 램프 설계 및 해석 검증
2.1 연구 프로세스
적외선 램프의 상세 설계를 위해서는 카메라에 요구되는 적외선 강도 및 조명 범위 확보가 필요하다. 따라서 나이트 비전 시스템 선행 개발 시에 적외선 카메라는 전자편의제어개발팀에서 선행 개발을 진행하였고, 해당 개발된 카메라에 최적화된 적외선 램프의 요구 성능을 확보한 후 그에 따른 적외선 외장 램프 광학계를 개발하는 순서로 진행하였다.
Fig. 5에서 확인할 수 있듯이 목표 탐지 거리에 요구되는 적외선 램프의 강도 및 조명 범위는 카메라의 성능에 따라 달라진다. 카메라가 측정하고 디스플레이하는 범위에 맞춰서 그보다 더 넓은 영역을 적외선 외장 램프로 비춰줄 수 있어야 나이트 비전 시스템이 제대로 작동할 수 있다.
Check the irradiation area of the infrared exterior lamp
이러한 내용을 보았을 때 주요 연구 내용을 크게 세가지로 설정하였다.
첫번째 카메라의 요구사항 및 경쟁 차량 분석을 통한 광학계 개발 목표 설정, 두번째 개발 목표를 만족할 수 있는 광학계 기본 구조 설계, 세번째 설계한 램프 목업 제작을 통한 개발 목표 만족 확인 및 최종 개발 기준 수립이 그에 해당한다. 추가적으로 바디제어설계팀, 전자편의제어개발팀과 협업하여 적외선 외장 램프를 위한 제어기도 개발 진행하였다.
2.2 개발 목표 수립
적외선 외장 램프의 개발 목표는 경쟁사의 램프를 분석하여 수립하였다. 나이트 비전 시스템 구현을 위한 적외선 카메라의 선행 개발 역시 경쟁 차량 수준 동등 및 유사 수준으로 개발 진행되어 적외선 외장 램프 역시 경쟁 차량 수준을 확보하게 되면 경쟁 차량 동등 수준의 나이트 비전 시스템을 구현할 수 있었기 때문이다.
경쟁 차량은 근적외선 방식을 활용하고 있으며 나이트 비전 시스템 적용 차종 중에서 가장 고급 차량으로 분류되는 Maybach S560을 선택하였다. 해당 차종 분석 결과는 Fig. 6과 같다.
Maybach analysis results
램프반사면의 오프닝 사이즈는 가로 160 mm, 세로 50 mm를 가지고, 조명 성능은 중심부가 260 W/sr 복사 강도를 가지며 5개의 적외선 LED를 활용하여 빛을 내보내고 있었다. 최소 1 W/sr 이상의 복사 강도를 가진 유효 조명 영역은 25 m 스크린 기준으로 좌우 17o범위, 하방 9o, 상방 7o영역이었다.
이러한 벤치마킹 분석 결과를 기반으로 적외선 카메라가 개발 되었고 좌우로는 경쟁 차량 대비 약 3배수준의 근적외선 측정 범위를 가져가고자 하였다.
따라서, 최종적으로 적외선 외장 램프의 개발 목표는 Fig. 7과 같이 최소 1 W/sr 이상의 복사 강도를 가진 유효 조명 영역은 25 m 스크린 기준 좌우 46o, 상하 16o범위를 가져가고, 중심부는 260 W/sr의 복사 강도를 가져가도록 설정하였다.
Goal of infrared exterior lamp development
2.3 광학계 개발 컨셉
나이트 비전 시스템 구현을 위한 적외선 램프 개발 컨셉은 Fig. 8과 같이 반사면 타입, 집광 렌즈 타입 두 가지를 구상하였다.
Optical structure of infrared exterior lamp
반사면 타입의 경우 적외선 LED에서 나오는 빛이 반사면에서 거울 반사된 후 적외선 렌즈를 통해 외부로 투과되는 방식으로 조명 패턴 컨트롤이 용이하고 구성 부품을 간소화 할 수 있다는 장점이 있다. 이는 타 경쟁차량들과도 동일한 구조이다.
집광 렌즈 타입은 LED에서 나오는 빛이 집광 렌즈 내부에서 전반사 과정을 거쳐 적외선 렌즈로 이동하게 된다. 반사면 대비하여 빛을 모아주는 집광 기능이 우수하여 빛을 더 멀리 보낼 수 있고 이로 인해 원거리 성능이 우수하며 광학 효율도 높은 편이다. 다만 멀리 보내는 데 빛의 광량을 많이 사용하다 보니 좌우로 빛을 보내주는 능력이나 균일하게 빛을 퍼지게 해주는 능력은 반사면 타입 대비 상대적으로 불리한 편이다. 또한 집광 렌즈 자체가 반사면 대비 원가가 높은 편이다.
이러한 검토 결과 기반으로 재료비 최적화 및 근거리에서의 조명 패턴의 용이한 컨트롤을 위해 반사면 타입을 개발 컨셉으로 설정하였다.
2.4 해석 검증
개발 목표에 적합한 광학계와 제어기를 활용하여 두가지 타입의 목업을 개발하였다. TYPE 1은 광학 성능을 최대한 높이고자 하였고, TYPE 2는 성능은 소비 전력을 최소화하여 방열 구조를 축소시켜 원가를 절감하고자 하였다.
TYPE 1의 사이즈 및 성능은 Fig. 9와 같다. 1 W/sr 광학 복사 강도 확보 가능 영역은 좌우 50o, 상하 16o 수준으로 개발 목표 최적화 수준으로 만족하였으며, 최대 복사 강도는 346.2 W/sr 수준으로 개발목표 133 % 수준으로 여유 있게 만족하였다.
Type1 performance
TYPE2의 사이즈 및 성능은 Fig. 10과 같다. 1 W/sr 광학 복사 강도 확보 가능 영역은 좌우 58o, 상하 17o 수준으로 개발 목표 최적화 수준으로 만족하였으며, 최대 복사 강도는 280 W/sr 수준으로 개발목표 107 % 수준으로 최적화하여 만족 가능하였다. 소비 전력을 최적화시켰기 때문에 복사 강도 최적화가 가능하였으며 이는 방열 구조를 동시에 최적화 시킬 수 있어 원가적으로도 유리한 구조이다.
Type2 performance
결론적으로 TYPE1은 복사 강도 성능 최대화, TYPE2는 원가 최적화 컨셉으로 설정하였고 개발 목표도 가능함을 확인할 수 있다.
3. 실차 검증
3.1 적외선 램프 실차 장착
Fig. 11과 같이 해당 적외선 램프를 실제 차량에 장착하여 적외선 카메라와의 호환성 및 실제 관찰 가능한 야간 이미지를 확인하였다.
Vehicle mounting operation
3.2 실차 정차 평가
실제 차량 평가는 남양연구소 내부 건물 암실 조건에서 정차 상태에서 보는 것과 저녁시간때에 남양연구소 근처를 주행하면서 주행 상태에서 보는 것 두 가지로 이루어졌다.
암실 조건에서는 적외선 외장 램프를 제외한 나머지 모든 램프를 소등한 상태에서 확인하였다. Fig. 12와 같이 외부 조명이 없고, 자동차 램프의 타 조명이 작동하지 않음에도 불구하고, 적외선 외장 램프의 빛을 적외선 카메라에서 인식했을 때 충분히 주위 조건을 용이하게 확인할 수 있었다.
Check darkroom condition performance
해당 실험 결과를 통해 적외선 외장 램프와 적외선 카메라는 기존 의도대로 작동하고 있음을 확인할 수 있었고, 해당 성능은 주변 조명이 없는 상태에서도 주위를 관찰할 수 있기에 충분한 것을 확인할 수 있었다.
하지만 실제로 적외선 외장 램프를 사용하는 실제 사용자 측면에서 생각해보면 어두운 외부 조건 상태에서 다른 자동차 램프 조명을 작동하지 않고 적외선 외장 램프만 활용하는 경우는 거의 없을 것이다. 대부분의 운전자들은 LOW BEAM을 작동시킨 상태에서 적외선 외장 램프를 작동시켜서 LOW BEAM만으로 인지가 어려운 부분까지 확인하고 싶어할 것이다.
3.3 실차 주행 평가
실제 사용 조건을 확인하기 위해 저녁 남양 연구소 근처를 주행하며 성능을 확인하였다.
Fig. 13과 같이 암실 조건 대비해서 적외선 외장 램프 활용으로 인한 효과가 강하지는 않은 것으로 확인했다. 상측 두개의 그림은 주변 조명이 아예 없는 경우인데, 이러한 경우 빨간색 박스로 표시한 것과 같이 LOW BEAM 비추기 어려운 외곽 부분에서 기존 대비 인지 가능 범위가 늘어난 것은 확인할 수 있었다. LOW BEAM 만으로 관찰이 쉽지 않은 수풀 더미가 더 확인되고 있는 것을 볼 수 있다. 시험 결과의 빛 밝기를 8 bit gray scale로 비교한 결과는 Fig. 14와 같다.6) 적외선 램프 작동한 After 조건에서, Gray scale 100 이상의 밝기에 해당하는 픽셀수가 대략 20 % 이상 더 발견되는 것을 확인할 수 있다.
Check driving condition performance
Comparison of LOW BEAM lighting conditions with infrared ON/OFF
Before에 해당하는 조건은 LOW BEAM 점등, 적외선 미 점등 조건을 의미하고 After에 해당하는 조건은 LOW BEAM 점등, 적외선 점등 상태를 의미한다. 사진으로는 적외선 점등 상태에서 전체적으로 밝기의 Gray scale이 우측으로 이동한 것을 알 수 있으며, 정량적으로는 적외선 점등 시 밝기의 효과가 있음을 알 수 있었다.
Fig. 13의 하측 두개의 그림과 같이 주변에 약하게 나마 건물 조명이 있는 경우에는 LOW BEAM 이 비추기 어려운 영역에서도 적외선 외장 램프로 인한 큰 효과를 확인하기는 어려웠다.
앞서 분석을 진행한 Maybach와의 실차 비교 분석 결과는 Fig. 15와 같다. 적외선으로 인해 추가 개선이 된 상단 영역 비교 시 유사한 정도의 개선 결과를 보여준다. 수풀 더미의 확인이 가능한 정도의 성능을 보여준다.
Comparative analysis of competitors
이러한 결과를 종합해서 볼 때 암실 조건에서 타 조명을 키지 않은 상태에서는 나이트 비전 시스템이 매우 큰 효과가 있지만, LOW BEAM 작동 조건에서 외부 주행 조건에서는 외부 조명이 거의 없는 상태에서 일부 영역에 작은 효과가 있는 것을 알 수 있었다. 해당 조건에 해당되는 가로등 포함 도로 외부 조명 설치가 부족한 시골 길이나 환경 조명 인프라가 부족한 해외 국가 등에서는 충분한 효과가 있을 것이 확실하다.
좀더 신빙성 있는 신기술 결과를 확인하기 위해 미래기술 총합시험팀에 차량을 대여하여 나이트 비전 시스템에 대한 기술 수준 평가를 진행하였다.
Fig. 16의 시험 팀 확인 결과와 같이 어둠 속에서 어두운 색상의 전방 물체(지형지물, 사람, 동물)를 확인해야 할 경우 효과가 있는 것으로 평가 됐다.
Test team performance check result
Fig. 16 하측 그림의 노란색 영역에서 볼 수 있듯이 시인성이 매우 좋아진 것을 확인할 수 있다. 기존 자체 시험 대비해서도 결과가 더 좋아 보이는데 카메라로 찍은 사진이다 보니 좀더 명암 대비 효과가 강화된 것이 이유로 추정된다.
종합해서 볼 때 신기술 전문 시험팀에서도 기존 빌트인 캠을 대신해서 어두운 환경에서 이벤트 발생 감지 역할을 수행한다면 상품성 개선이 가능하다는 공식적인 의견을 확보할 수 있었다.
4. 제어기 개발
본 연구 과정에서는 제어기 개발도 진행하였다.
적외선 외장 램프의 제어기는 야간 주행 시에만 적외선 외장 램프를 점등 하는 조건으로 개발하였으나 선행 개발 과정에서 주차 중에도 적외선 카메라의 블랙박스 녹화 기능 구현을 해야하는 필요성이 제기되어, 주차 중 조건까지 고려하는 별도 제어기를 적용하는 최종안을 설정하였다.
최종 점등 제어 컨셉 FLOW 차트는 컨셉은 Fig. 17과 같다. 차량 시동의 판단 기준이 되는 Ignition(이후 IG 명명) 작동 여부에 따라 주차와 주행 여부를 판단하며 IG 작동 시 주행 모드로 판단하고 이 경우 적외선 램프와 LOW BEAM이 동시 점등된 조건에서는 HIGH BEAM이 꺼지도록 설정한다. 적외선 램프가 HIGH BEAM 이 작동하는 영역을 커버하므로 동시 점등 조건을 제거한 것이다. 만약 적외선 외장 램프나 LOW BEAM 둘 중 하나라도 미 점등된 경우에는 운전자의 안전을 위해 HIGH BEAM을 작동하도록 설정한다. IG 미 작동 시 주차 모드로 판단하고 BUILT IN CAM의 작동에 동기화하여 적외선 램프가 작동되도록 설정한다.
Infrared external lamp FLOW chart
주차 중에 전력 소모를 최소화하기 위해 카메라 별도 제어기를 통한 전원 공급을 진행하였으며, 주행 시에는 15 W의 소비 전력을 사용하지만 주차 시에는 3 W의 소비 전력을 활용하게 된다.
Driving/Parking mode infrared lamp operation
5. 결 론
해당 연구를 통하여 타 경쟁사 대비 우위 수준의 나이트 비전 시스템 선행 개발을 완료하였다.7)
적외선 광원과 적외선 카메라를 통한 영상 디스플레이를 통해 기존의 어두운 영역에 대한 시인성 개선이 가능함을 자체 시험을 통해서 확인하였으며, 신기술에 대한 시험 팀의 공식적인 긍정적 의견도 접수 할 수 있었다.
추가적으로 경쟁사 나이트 비전 시스템 및 적외선 외장 카메라 스펙을 고려하여 기준을 도출하였다. 개발 기준은 Fig. 7의 개발 목표와 동일하게 최소 1 W/sr 이상의 복사 강도를 가진 유효 조명 영역을 25 m 스크린 기준 좌우 46o, 상하 16o범위를 가져가고, 중심부는 260 W/sr의 복사 강도를 가져가도록 설정하였다.
향후에 최종 양산 차종이 선정이 되면 해당 차종에 최적화된 성능 도출을 위한 추가 검토를 진행할 예정이다.
Nomenclature
| I : | radiant intensity, W/sr |
| L : | length, mm |
| A : | angle, ° |
| D : | distance, m |
Acknowledgments
A part of this paper was presented at the KSAE 2023 Spring Conference
References
- J. Lim, Y. Lee and Y. Choi, “Necessity and Technology Trends of Automotive Night Vision System,” KSAE Auto Journal, Vol.45, No.4, pp.27-32, 2023.
- J. Cha, J. Han and Y. Yoon, “Development of Night Vision Thermal Camera Module Using Autonomous Driving,” KSAE Fall Conference Proceedings, pp.962-964, 2022.
- D. Lee, “Scene Based Nonuniformity Correction of Nightvision Infrared Image for ADAS,” KSAE Fall Conference Proceedings, pp.1952-1955, 2022.
- B. -Y. Kim, G. -H. Park, J. -H. Yun and M. -R. Choi, “Image Enhancement Algorithm for Night Vision,” KASE Symposium, pp.71-75, 2007.
-
S. Yagi, S. Kobayashi, T. Inoue, H. Takashi, N. Michiba and K. Okui, “The Development of Infrared Projector,” SAE 2003-01-0987, 2003.
[https://doi.org/10.4271/2003-01-0987]
- D. Jeon, K. Kim, H. Kang, D. Byeon and S. Shon, “Study on the Image Quality Improvement of an Automotive Night Vision Camera through the Near-infrared Transmission Enhancement,” KSAE Spring Conference Proceedings, pp.1777-1782, 2008.
- H. Kim, S. Park, J. Shim, D. Cha, D. Lee, J. Lim, D. Jeong and G. Kim, “Advanced Development of Infrared Exterior Lamp for Night Vision Implementation,” KSAE Spring Conference Proceedings, p.509, 2023.