적대적 정렬 기반 도메인 적응 및 악천후 간 도메인 일반화를 활용한 영상 인지 강건성 검증 연구

1. 서 론(Introduction)

최근 딥러닝 기반 컴퓨터 비전 기술의 발전은 자율주행시스템의 인지 성능을 비약적으로 향상시켰다. 특히 객체 탐지(Object detection) 분야에서는 YOLO 계열, Faster R-CNN 계열과 같은 심층 신경망 기반 모델들이 차량, 보행자, 신호등, 교통 표지판과 같은 핵심 객체를 높은 정확도로 인식할 수 있게 되었다.¹⁾ 이러한 기술적 진보는 자율주행차가 실제 도로 환경에서 안전하게 주행하기 위한 필수 요소로 자리 잡고 있다.

그러나 대부분의 최신 객체 탐지 모델은 Fig. 1과 같이 학습 데이터와 실제 환경 간 분포 차이가 발생할 경우, 인지 성능이 급격하게 저하되는 도메인 시프트(Domain shift)가 발생한다.²⁾ 자율주행 환경에서는 특히 날씨 변화에 의해 이 문제가 심각하게 나타난다. 안개, 비, 눈, 황사, 야간과 같은 악천후 환경에서는 영상의 명암 대비 저하, 가시성 감소, 센서 노이즈 증가 등으로 인해 입력 데이터의 분포가 학습 데이터와 크게 달라진다.³⁾ 그 결과, 맑은 날씨 데이터 중심으로 학습된 객체 탐지 모델은 악천후 환경에서 신뢰성 있는 인지 성능을 보장하지 못하게 된다.⁴⁾

Fig. 1

Domain shift problem due to changes in weather conditions

기존의 대표적인 자율주행 데이터셋인 KITTI, BDD100K, COCO 등은 주간 및 맑은 날씨 조건에서 수집된 데이터가 대부분이다. 반면, ACDC, DAWN과 같은 악천후 환경 데이터셋은 상대적으로 규모가 작고 특정 날씨 조건에 집중되어 있어, 단순한 데이터 병합만으로는 도메인 시프트 문제를 근본적으로 해결하기 어렵다. 오히려 데이터 불균형과 날씨별 분포 편향으로 인해 학습 안정성이 저하되는 문제가 발생할 수 있다.

이러한 한계를 극복하기 위해 최근 도메인 적응(Domain Adaptation, DA)과 도메인 일반화(Domain Generalization, DG) 기법이 활발히 연구되고 있다. DA는 레이블이 있는 맑은 날씨의 소스 도메인(Source domain)과 레이블이 없거나 제한적인 악천후 날씨의 타깃 도메인(Target domain) 간의 특징 분포를 정렬하여 성능 격차를 줄이는 접근 방식이다. 반면, DG는 학습 과정에서 모델이 한 번도 본 적 없는 미지의 도메인(Unseen domain)에 대해 일반화 성능을 확보하는 것을 목표로 한다.

그러나 기존 DA 기법은 타깃 도메인 분포에 과도하게 의존하거나, 적대적 학습(Adversarial training) 과정에서 탐지 헤드(Detection head)의 성능이 저하되는 문제를 내포하고 있다. 또한 DG 기법은 다양한 소스 도메인의 확보가 어렵고, 실제 악천후 환경처럼 멀티 모달 특성을 갖는 복합 도메인에 대한 일반화 성능 검증이 충분히 이루어지지 않았다.

본 논문에서는 이러한 문제점을 해결하기 위해, Feature-level adversarial alignment 기반 DA와 악천후 간 Leave-One-Weather-Out 기반 DG를 통합한 강건성 평가 프레임워크를 제안한다. 이를 위해 맑은 날씨와 악천후 환경 간 도메인 차이를 명확히 반영한 병합 커스텀 데이터셋을 구성하고,⁵⁾ YOLOv8 기반 객체 탐지 모델에 적용하여 다양한 악천후 환경에서의 성능을 정량적으로 분석한다.⁶⁾

또한 기존의 mAP, Precision, Recall 중심의 평가 지표 방식에서 벗어나, 도메인 전이 환경에서의 성능 저하 정도와 안정성을 정량화할 수 있는 강건성 지표를 함께 활용함으로써, 자율주행 인지 시스템의 실용적 신뢰성을 보다 객관적으로 평가한다. 본 논문의 주요 기여는 다음과 같이 정리할 수 있다.

• 1) 악천후에 따른 도메인 시프트를 명확히 반영하기 위해 병합 커스텀 데이터셋을 구성하고, 이를 기반으로 교차 도메인 성능을 체계적으로 분석하였다.
• 2) 탐지 헤드를 고정한 Feature-level adversarial alignment 구조를 제안하여 악천후 환경에서도 안정적인 도메인 적응을 가능하게 하였다.
• 3) Leave-One-Weather-Out 기반 도메인 일반화 실험 설계를 통해, 미관측 악천후 환경에 대한 일반화 성능을 정량적으로 검증하였다.
• 4) 기존 정확도 중심 지표에 더해, 도메인 강건성을 평가할 수 있는 지표를 활용하여 자율주행 인지 모델의 실질적 신뢰성을 분석하였다.

그러나, 본 연구는 단일 센서 입력의 카메라 기반 2D 객체 탐지에 초점을 맞춘 한계가 있다. 특히 LiDAR나 다중 센서 융합 기반 인지 시스템과 비교할 때, 악천후 환경에서의 거리 정보 부족 및 센서 보완 효과를 충분히 반영하지 못한다. 또한 본 연구에서는 안개, 비, 눈 등 개별 악천후 조건을 중심으로 도메인 강건성을 분석하였다. 연구에 활용한 타깃 도메인 커스텀 데이터셋에는 개별 환경 외 비-야간 혼합, 비-안개 혼합, 야간-안개-비 혼합과 같은 복합 환경이 있으나 원본 데이터셋 레이블의 보전 목적 및 데이터 분류의 어려움으로 복합 환경 레이블 대신 원본 레이블을 그대로 활용하였다. 더불어, 제안한 프레임워크는 오프라인 학습 및 평가 환경에서 검증되었으며, 실제 자율주행 차량 또는 시뮬레이터 기반 주행 환경에서의 실시간성 및 시스템 수준 안전성에 대한 검증은 향후 연구로 남는다.

2. 관련 연구(Related works)

본 장에서는 자율주행 객체 탐지 분야에서의 도메인 시프트 문제를 중심으로, DA 및 DG에 관한 주요 연구 흐름을 정리한다. 특히 악천후 환경에서의 인지 성능 저하 문제를 해결하기 위한 기존 접근 방법과 그 한계를 분석하고, 본 논문의 연구 방향과의 차별성을 명확히 한다.

2.2 도메인 적응(Domain adaptation)

도메인 적응(DA)은 소스 도메인에서 학습한 모델을 타깃 도메인으로 효과적으로 전이하기 위한 방법으로, Fig. 2와 같이 소스와 타깃 도메인 간 분포 차이를 완화하는 것을 목표로 한다.

Fig. 2

The concept of domain adaptation9)

DA는 타깃 도메인 레이블 유무에 따라 지도 학습 기반(SDA)과 비지도 학습 기반(UDA) 방식으로 구분된다.

지도 학습 기반 도메인 적응(SDA)은 소스와 타깃 도메인 모두에 레이블이 존재하는 환경을 전제로 하며, 공통 표현 공간 학습을 통해 도메인 간 격차를 완화하는 접근 방식이다. Peng과 Dredze¹⁰⁾는 Multi-task 학습을 통해 소스와 타깃 도메인 간 표현을 공유하는 방법을 제안하였고, Huang 등¹¹⁾은 클래스 중심 간 전이를 활용한 Center transfer loss로 특징 공간 정렬을 수행하였다. 또한 Katz 등¹²⁾은 입력-레이블 결합 분포의 주변 및 조건부 요소를 정렬하는 SDA 기법을 제안하였다.

그러나 SDA는 타깃 도메인 레이블 확보가 필수적이므로 비용과 확장성 측면에서 한계가 있으며, 특히 다양한 악천후가 존재하는 자율주행 환경에서는 현실적 적용이 어렵다. 이에 따라 최근에는 타깃 도메인 레이블을 사용하지 않는 비지도 학습 기반 도메인 적응(UDA)이 주목받고 있다. Ganin 등¹³⁾은 DANN을 통해 적대적 학습 기반 도메인 불변 특징 학습을 제안하였으며, Zhu 등¹⁴⁾은 CycleGAN을 활용한 이미지 변환 기반 적응 방식을 제시하였다. 또한 Zou 등¹⁵⁾은 Class-balanced Self-training을 통해 Pseudo label 편향 문제를 완화하였다.

그러나 UDA는 타깃 도메인에서의 Pseudo label 오류 누적 위험이 있고, 이미지 스타일이나 조명, 기상 변화 등이 극단적으로 클 경우 단순한 특징 정렬이나 스타일 변환만으로 완전한 적응이 어렵다. 또한, 자율주행 악천후 환경에서 센서 노이즈, 동적 객체 변화 등이 복합적으로 작용하므로, UDA 연구 대부분이 다루고 있는 단일 변화를 넘어서는 확장성이 아직 부족하다.

2.3 도메인 일반화(Domain generalization)

도메인 일반화(DG)는 Fig. 3과 같이 학습 과정에서 타깃 도메인 데이터를 사용하지 않고도, 한 번도 관측되지 않은 도메인(Unseen domain)에 대해 일반화 성능을 확보하는 것을 목표로 한다. 이는 실제 자율주행 환경에서 사전에 모든 날씨 조건을 수집 및 레이블링하는 것이 현실적으로 어렵다는 점에서 중요한 연구 주제이다.

Fig. 3

The concept of domain generalization16)

DG는 학습 시 관측되지 않은 도메인에서도 성능을 유지하는 것을 목표로 한다. 데이터 증강 기반 접근으로 Cubuk 등¹⁷⁾은 RandAugment를 통해 단순한 변환 조합만으로도 일반화 성능 향상을 보였다. 특징 정렬 기반 DG에서는 Sun 등¹⁸⁾이 CORAL을 제안하여 도메인 불변 특징 학습을 수행하였다. Meta-learning 기반 방법으로 Li 등¹⁹⁾은 MLDG를 통해 학습 단계에서 미지의 도메인 상황을 모사하여 일반화 성능을 개선하였다. 또한 Arjovsky 등²⁰⁾은 IRM을 통해 여러 도메인에 공통으로 성립하는 불변 인과 관계를 학습하는 접근을 제시하였다. 그러나 이러한 기존 연구는 날씨 조건을 도메인으로 명확히 정의하지 않거나, 악천후 환경에서의 객체 탐지 성능을 정량적으로 비교하는 체계적 평가가 부족하다.

3. 제안 시스템(Proposed System)

본 논문에서는 악천후 환경에서 발생하는 도메인 시프트 문제를 완화하고, 미관측 날씨 조건에 대한 일반화 성능을 확보하기 위해 도메인 적응(DA)과 도메인 일반화(DG)를 통합한 객체 탐지 학습 프레임워크를 제안한다. 제안 방법은 YOLOv8 기반 2D 객체 탐지 모델을 중심으로 구성되며, (1) Feature-level adversarial alignment 기반 DA와 (2) Leave-One-Weather-Out 기반 DG의 두 가지 핵심 요소로 구성된다.

3.1 시스템 개요

제안 시스템의 목표는 악천후로 인한 도메인 변화에도 불구하고 객체 탐지 성능의 안정성과 일관성을 유지하는 것이다. 이를 위해 Fig. 4와 같이 맑은 날씨 환경을 소스 도메인, 악천후 환경을 타깃 도메인으로 정의하고, 학습 단계에서 도메인 간 특징 분포 차이를 최소화하도록 프레임워크를 설계하였다.

Fig. 4

The overview of proposed system

DA 단계에서는 소스–타깃 도메인 간 특징 정렬을 통해 교차 도메인 성능을 개선하고, DG 단계에서는 특정 날씨 조건을 학습에서 완전히 배제한 상태로 모델을 학습하여 모델이 학습 과정에서 한 번도 본 적 없는 악천후 환경에 대한 일반화 성능을 평가한다. 두 접근 방식은 동일한 객체 탐지 모델 구조를 공유하되, 학습 전략과 데이터 구성 방식에서 차별화된다.

3.2 Feature-level adversarial alignment 기반 DA

Feature-level adversarial alignment는 Fig. 5와 같이 도메인 판별기(Domain discriminator)와 특징 추출기(Backbone) 간의 적대적 학습을 통해 도메인 불변 특징(Domain-invariant feature)을 학습하는 방식이다.²¹⁾ 도메인 판별기는 입력 특징이 소스 도메인 또는 타깃 도메인에서 생성되었는지를 구분하도록 학습되며, 특징 추출기는 Gradient Reversal Layer(GRL)를 통해 도메인 판별기의 구분 능력을 혼란시키도록 학습된다.²²⁾

Fig. 5

Adversarial training process of feature-level adversarial alignment

이러한 적대적 학습 구조를 통해, 도메인 판별기와 특징 추출기 사이의 균형을 통해 Backbone 특징이 도메인에 불변한 상태로 정렬되도록 한다.

기존의 적대적 정렬 기반 객체 탐지 연구에서는 특징 추출기와 탐지 헤드(Detection head)를 동시에 업데이트하는 방식이 주로 사용되었다.²³⁾ 그러나 이러한 방식은 적대적 손실이 탐지 헤드까지 전달되어 바운딩 박스 회귀 및 클래스 분류 성능을 저하시킬 수 있으며, 특히 악천후 환경에서 생성되는 저품질 특징이 탐지 헤드의 가중치를 오염시키는 문제가 발생한다.

본 논문에서는 이러한 문제를 해결하기 위해 탐지 헤드를 학습 과정에서 고정(Freezing)하고, 적대적 정렬을 특징 추출기 수준에서만 수행하는 구조를 제안한다. 즉, 소스 도메인에서 충분히 학습된 탐지 헤드는 유지한 채, 특징 추출기만을 도메인 적응 대상으로 설정함으로써 탐지 성능의 안정성을 확보한다. 학습-검증-테스트 전체 파이프라인은 Fig. 6과 같다.

Fig. 6

The pipeline of feature-level adversarial alignment

이 설계를 통해 타깃 도메인에서 발생하는 특징 분포 변화가 탐지 헤드의 예측 구조에 직접적인 영향을 미치지 않도록 하였으며, 결과적으로 소스 도메인 성능을 유지하면서도 타깃 도메인에 대한 강건성을 효과적으로 향상시킬 수 있다.

학습 단계에서 소스 도메인 이미지를 사용하여 객체 탐지 모델의 태스크 손실(Task loss)을 최소화하고, 소스와 타깃 도메인 특징을 결합해 도메인 판별기를 학습한다. 즉, 식 (1)과 같이 Forward propagation(순방향 전파)에서 Gradient Reversal Layer는 항등함수로 동작하여 backbone 특징을 그대로 도메인 판별기로 전달하고, 도메인 판별기는 소스 도메인과 타깃 도메인을 구분하도록 학습하는 동안, Backbone은 식 (2)와 같이 Back propagation(역방향 전파)을 통해 이와 반대 방향의 그래디언트를 받아 두 도메인의 특징을 구분할 수 없도록 도메인 불변 표현을 학습함으로써 모델과 도메인 판별기를 번갈아 업데이트한다.²⁴⁾

$\[ R_{\lambda }\left(x\right)=x \]$

(1)

$\[ \frac{d{R}_{\lambda }}{dx}=-\lambda I \]$

(2)

이처럼 적대적 손실이 Backbone 특징 표현 학습에 직접적으로 반영되는 구조는 Detection head의 왜곡을 원천적으로 방지하면서, 보다 안정적이고 의미 있는 특징 수준 정렬을 수행하는 기반이 된다. 또한 Backbone에서 고수준의 특징이 형성되는 계층을 중심으로 정렬을 수행하기 때문에 악천후 이미지의 시각적 변화에도 강건한 표현이 구축된다. 결과적으로 모델은 소스 도메인 레이블에 기반해 학습하면서도 도메인 간 분포 차이를 줄여 Target domain 일반화 성능을 향상시킨다.

악천후 타깃 도메인은 단일 분포가 아니라 안개, 비, 눈, 모래, 야간 등 상이한 특성을 갖는 다중 모달 구조를 가진다. 기존 적대적 정렬 방식은 이러한 복합적 분포 구조를 충분히 고려하지 못해 과도한 정렬 또는 불완전한 정렬이 발생할 수 있다.

본 연구에서는 다양한 악천후 환경을 포함한 타깃 도메인을 단일 집합으로 취급하되, 특징 추출기 수준에서 공통적으로 유지되어야 할 객체 중심 표현에 초점을 맞추어 정렬을 수행한다. 이를 통해 날씨별 시각적 변동성은 억제하고, 객체의 구조적, 의미적 특징은 보존하는 방향으로 도메인 적응을 유도한다.

3.3 Leave-One-Weather-Out 기반 DG

DG 단계에서는 특정 악천후 조건을 학습 과정에서 완전히 배제하고, 해당 날씨 조건을 테스트에만 사용하는 Leave-One-Weather-Out 전략을 적용한다.²⁵⁾ 이는 실제 자율주행 환경에서 사전에 관측되지 않은 날씨 조건이 등장하는 상황을 모사하기 위한 설정이다.

Fig. 7의 전체 프로세스에서 각 실험에서 하나의 날씨 조건을 타깃 도메인으로 설정하고, 나머지 날씨 조건과 맑은 날씨 데이터를 소스 도메인으로 구성하여 모델을 학습한다. 이후 배제된 날씨 조건에 대해 테스트를 수행함으로써 모델의 일반화 성능을 정량적으로 평가한다.

Fig. 7

Training, validation, and test process of Leave-One-Weather-Out

DG 성능은 학습 데이터의 구성 방식에 크게 영향을 받는다. 특정 날씨 조건이나 클래스가 과도하게 포함될 경우, 모델이 특정 도메인에 편향되어 학습될 수 있다. 이를 방지하기 위해 본 연구에서는 날씨 조건별 데이터 분포를 명시적으로 관리하고, 학습 및 검증 단계에서 날씨 균형 샘플링(Weather-balanced sampling)을 적용한다.

이를 통해 각 날씨 조건이 학습 과정에서 유사한 비중으로 반영되도록 하였으며, 특정 도메인에 대한 과적합을 최소화하였다. 이러한 설정은 Leave-One-Weather-Out 실험의 공정성과 재현성 보장에 중요한 역할을 한다.

Leave-One-Weather-Out 기반 학습의 목적은 특정 날씨에 특화된 표현을 학습하는 것이 아니라, 다양한 날씨 조건에서 공통적으로 유지되는 도메인 불변 특징을 학습하는 것이다. 이를 통해 모델은 학습 단계에서 한 번도 관측하지 못한 날씨 조건에서도 객체 탐지 성능을 유지할 수 있게 된다.

본 논문에서는 별도의 메타 학습이나 추가 모듈 없이, 데이터 구성 전략과 학습 프로토콜만으로 도메인 일반화 성능을 효과적으로 평가할 수 있음을 보인다.

4. 실험 설정(Experiments Setting)

본 장에서는 제안한 도메인 적응 및 도메인 일반화 프레임워크의 성능 검증을 위한 실험 설정을 설명한다. 실험은 데이터셋 구성, 평가 지표, 그리고 구현 환경의 세 부분으로 구성되며, 모든 설정은 공정하고 재현 가능한 비교를 목표로 설계되었다. Fig. 8은 전체 실험 개요이다.

Fig. 8

The overview of learning, validation, and test pipelines for DA and DG

4.1 병합 커스텀 데이터셋 구성

본 연구에서는 날씨 변화에 따른 도메인 시프트를 명확히 모델링하기 위해, 기존 공개 데이터셋을 기반으로 한 병합 커스텀 데이터셋을 구성하였다. 데이터셋은 맑은 날씨 중심의 소스 도메인(Source domain)과 악천후 환경 중심의 타깃 도메인(Target domain)으로 구분된다.

Table 1에서 소스 도메인(MERGED_SD / 1만장)은 맑은 날씨 환경의 BDD100K와 KITTI 데이터셋으로 구성되며, 타깃 도메인(MERGED_TD / 1만장)은 DAWN, ACDC, AI-Hub 데이터셋으로 구성되며, 안개, 비, 눈, 모래, 야간, 흐림의 6가지 다양한 날씨 조건을 포함한다.

Table 1

Configuration of merged custom datasets

도메인 전이 시 모델의 인지 성능을 공정하게 측정하기 위해 모든 데이터셋은 균일한 해상도(1,600 × 900) 및 포맷(Image : JPG, Label : txt)으로 변환하고, COCO 스타일의 9가지 클래스 재매핑으로 전처리하여 도메인 간의 일관된 모델 학습, 검증 및 테스트가 가능하게 하였다.

4.3 DG 실험 설정

도메인 일반화(DG) 실험에서는 하나의 악천후 조건을 완전히 배제한 상태로 모델을 학습하고, 배제된 날씨 조건에 대해서만 테스트를 수행한다. 나머지 악천후 날씨 및 맑은 날씨 데이터는 소스 도메인으로 사용된다.

학습 및 검증 단계에서는 날씨 조건별 데이터 수의 불균형을 완화하기 위해 Table 2, Table 3과 같이 날씨 균형 샘플링을 적용하였다. 이를 통해 특정 날씨 조건에 대한 과적합을 방지하고, 도메인 일반화 성능을 공정하게 평가한다.

Table 2

A weather-balanced train set for DG

Table 3

A weather-balanced validation set for DG

4.5 구현 환경 및 학습 설정

모든 실험은 Table 4의 동일한 하드웨어 및 소프트웨어 환경에서 수행하여 결과의 공정성을 확보하였다. 그리고 Table 5의 YOLOv8l 베이스라인 모델 및 DA의 적대적 학습 진행을 위한 주요 하이퍼파라미터 설정이다.

Table 4

Experimental environment

Table 5

Main parameters setting for source-only model and DA adversarial learning

객체 탐지 모델은 YOLOv8 기반 구조를 사용하였으며, DA 실험에서는 Feature-level adversarial alignment 모듈과 도메인 판별기를 추가로 구성하였다.

학습 과정에서는 소스 도메인 데이터에 대한 탐지 손실과 도메인 정렬을 위한 적대적 손실을 함께 최적화하였으며, 탐지 헤드는 학습 과정에서 고정하여 적대적 학습의 영향을 받지 않도록 설계하였다. DG 실험에서는 동일한 모델 구조를 사용하되, 6가지 악천후 환경에서 Leave-One-Weather-Out 설정에 따라 데이터 구성과 학습 프로토콜을 변경하였다.

학습, 검증, 테스트 과정 전반에 걸쳐 동일한 하이퍼파라미터와 전처리 설정을 유지함으로써, DA 및 DG 실험 간 비교가 가능하도록 하였다.

5. 결과 및 분석(Experiment Results and Analysis)

본 장에서는 제안한 DA 및 DG 프레임워크의 효과를 정량적으로 분석한다. 먼저 교차 도메인 환경에서의 DA 성능을 평가한 후, Leave-One-Weather-Out 기반 DG 실험 결과를 제시하고, 마지막으로 두 접근 방식의 결과를 종합적으로 분석한다.

5.1 교차 도메인 성능 평가

먼저 소스 도메인과 타깃 도메인 간의 교차 도메인 성능 평가(Cross domain evaluation)를 진행하였다. 소스 도메인에서 학습한 모델을 소스 도메인에서 테스트하는 S→S, 타깃 도메인에서 학습한 모델을 타깃 도메인에서 테스트하는 T→T을 진행한 후, 소스 도메인에서 학습한 모델을 타깃 도메인에서 테스트하는 S→T 및 타깃 도메인에서 학습한 모델을 소스 도메인에서 테스트하는 T→S을 진행한 결과를 Fig. 9와 Table 6에 제시하였다.

Fig. 9

The overview of learning, validation, and testing pipelines for DA and DG

Table 6

Experimental results of cross domain evaluation

Table 6의 DTDR 값으로부터 소스에서 타깃으로 도메인 전이 시 78.61 %, 타깃에서 소스로 도메인 전이 시 67.95 %의 모델 성능 저하가 발생하였다. RI는 여러 도메인에서 모델의 안정성을 정규화한 강건성 지표로서 1에 가까울수록 모델이 강건하며 소스와 타깃 각각 0.35, 0.42의 결과로부터 도메인 전이 시 모델의 강건성이 악화된 것을 알 수 있다.

다음은 본 연구에서 개발한 DA 및 DG 기반의 모델 인지 파이프라인 적용을 통해 서로 다른 환경 간의 도메인 시프트 문제가 개선되는지 확인하였다.

5.2 DA 실험 결과

DA 실험에서는 맑은 날씨 환경으로 구성된 소스 도메인에서 학습한 모델을 악천후 환경의 타깃 도메인에 적용하여 성능을 평가하였다. 비교 대상은 소스 도메인 데이터만을 사용해 학습한 Source-only 모델과, 제안한 Feature-level adversarial alignment를 적용한 DA 모델이다.

실험 결과, Table 7에서 Source-only 모델은 소스 도메인에서 높은 탐지 정확도를 보였으나, 악천후 환경으로 전이될 경우 mAP, Precision, Recall 지표가 전반적으로 크게 감소하였다. 특히 안개와 야간 환경에서는 객체 경계가 불명확해지면서 탐지 실패가 빈번하게 발생하였다. 이는 날씨 변화로 인한 도메인 시프트가 객체 탐지 성능에 직접적인 영향을 미침을 보여준다.

Table 7

A test result of source-only model for target domain

반면, Table 8 및 Figs. 10, 11에서 제안한 DA 모델은 모든 악천후 조건에서 Source-only 모델 대비 일관된 성능 향상을 보였다. 이는 특징 수준에서 도메인 불변 표현을 학습함으로써, 날씨 변화에 따른 시각적 분포 차이를 효과적으로 완화했음을 의미한다.

Table 8

A test result of feature-level adversarial alignment framework for target domain

Fig. 10

The test set overlay images for target adverse weather (fog, rain, snow, sand, night, and cloudy)

Fig. 11

Comparison of key metrics and robustness metrics of source-only model and DA model

정확도 지표 외에도 도메인 전이에 따른 성능 강건성을 평가하기 위해 DTDR 및 RI 지표를 분석하였다. Source-only 모델의 경우, 타깃 도메인으로 전이될 때 DTDR이 크게 증가하여 도메인 시프트에 취약한 특성을 보였다.

제안한 DA 모델은 Source-only 모델 대비 DTDR을 26.74 % 감소시키고, RI를 73.53 % 향상시켰다. 이는 단순히 평균 정확도 개선에 그치지 않고, 악천후 환경 전반에서 성능 변동성을 효과적으로 억제했음을 의미한다.

다만, 제안한 DA 프레임워크는 적대적 학습 단계에서만 도메인 판별기와 GRL이 사용되며, 추론 단계에서는 해당 모듈이 제거되므로, 실제 추론 속도에는 큰 영향을 미치지 않는다. 실제 추론 속도가 Source-only 모델은 이미지 당 5.3 ms(188.7 FPS), DA 모델은 이미지 당 5.4 ms(185.2 FPS)로 측정되었다.

5.3 DG 실험 결과

DG 실험에서는 Leave-One-Weather-Out 전략을 적용하여, 학습 단계에서 특정 날씨 조건을 완전히 배제한 상태로 모델을 학습하고, 해당 날씨 조건에 대해 테스트를 수행하였다. 이 실험은 실제 자율주행 환경에서 미관측 악천후가 등장하는 상황을 모사한다.

실험 결과, 날씨별 Source-only 모델은 학습에 포함되지 않은 날씨 조건에서 현저한 성능 저하를 보였다. 이는 특정 날씨 조건에 특화된 특징을 학습한 모델이 미지의 환경에 대해 일반화되지 못함을 보여준다.

반면, Leave-One-Weather-Out 기반 DG 모델은 모든 악천후 조건에서 Source-only 모델 대비 향상된 탐지 성능을 달성하였다. 특히 눈, 안개, 야간과 같이 시각적 왜곡이 큰 환경에서도 비교적 안정적인 객체 탐지 결과를 유지하였다.

강건성 지표 분석 결과, 6가지 악천후 환경에 대해 DG 모델은 DTDR을 평균 110.06 % 개선하고, RI를 평균 116.06 % 향상시켰다. 이는 DG 접근 방식이 단일 타깃 도메인에 대한 적응을 넘어, 다양한 악천후 조건에 대한 일반화 능력을 효과적으로 강화했음을 의미한다.

5.3.1부터는 6가지 악천후 환경 중 특히 시인성이 낮은 2가지 환경(안개, 야간)의 전체 결과를 우선 제시하고, 나머지 4가지 환경은 DG 프레임워크를 통한 테스트셋 오버레이 이미지 결과로 대체한다.

5.3.1 타깃 악천후 날씨(안개)

안개 환경을 타깃 도메인, 안개 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 안개 환경에 테스트한 결과는 Table 9 및 Fig. 12, 13과 같다.

Table 9

A test result of target adverse weather (fog)

Fig. 12

The test set overlay images for target adverse weather (fog)

Fig. 13

Comparison of key metrics and robustness metrics of weather-specific source-only model and DG model (fog)

5.3.2 타깃 악천후 날씨(야간)

야간 환경을 타깃 도메인, 야간 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 야간 환경에 테스트한 결과는 Table 10 및 Fig. 14, 15와 같다.

Table 10

A test result of target adverse weather (night)

Fig. 14

The test set overlay images for target adverse weather (night)

Fig. 15

Comparison of key metrics and robustness metrics of weather-specific source-only model and DG model (night)

5.3.3 타깃 악천후 날씨(비)

비 환경을 타깃 도메인, 비 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 비 환경에 테스트한 결과는 Fig. 16과 같다. Fig. 16에서 Source-only 모델 대비 DG 프레임워크에서 원거리 객체 인식을 더 잘하고, DTDR은 76.57 %에서 -17.36 %로 낮아졌고, RI는 0.38에서 0.92로 향상되었다.

Fig. 16

The test set overlay images for target adverse weather (rain)

5.3.4 타깃 악천후 날씨(눈)

눈 환경을 타깃 도메인, 눈 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 눈 환경에 테스트한 결과는 Fig. 17과 같다. Fig. 17에서 Source-only 모델 대비 DG 프레임워크에서 원거리 객체 인식을 더 잘하고, DTDR은 74.76 %에서 15.45 %로 낮아졌고, RI는 0.40에서 0.92로 향상되었다.

Fig. 17

The test set overlay images for target adverse weather (snow)

5.3.5 타깃 악천후 날씨(모래)

모래 환경을 타깃 도메인, 모래 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 모래 환경에 테스트한 결과는 Fig. 18과 같다. Fig. 18에서 Source-only 모델에서는 객체 인식을 거의 하지 못했다면, DG 프레임워크에서는 우수한 객체 인식 성능을 보였다. 그리고 DTDR은 64.44 %에서 –24.49 %로 낮아졌고, RI는 0.52에서 0.89로 향상되었다. 특히 본 연구에서 활용한 DAWN 데이터셋의 모래 환경은 일부 국가에 한정된 환경으로 대부분의 자율주행 환경에 보편화된 날씨는 아니다.

Fig. 18

The test set overlay images for target adverse weather (sand)

5.3.6 타깃 악천후 날씨(흐림)

흐림 환경을 타깃 도메인, 흐림 환경을 제외한 나머지 날씨들을 소스 도메인으로 설정하여 학습한 Source-only 모델을 흐림 환경에 테스트한 결과는 Fig. 19와 같다. Fig. 19의 오버레이 이미지 결과에서 Source-only 모델과 DG 프레임워크는 육안 상 큰 차이는 없었으나, 강건성 평가 지표에서 DTDR은 78.67 %에서 23.68 %로 낮아졌고, RI는 0.35에서 0.87로 향상되었다.

Fig. 19

The test set overlay images for target adverse weather (cloudy)

DG를 적용했을 때 주요 성능 지표(Precision, Recall, F1, mAP50, mAP50-95) 및 강건성 지표(DTDR, RI) 모두 큰 폭으로 개선되었음을 확인할 수 있다. 눈에 띄는 점은 안개(Fog), 비(Rain), 모래(Sand)의 경우 DTDR이 음수인 데 이것은 Leave One Weather Out 프레임워크 적용 모델의 소스 도메인 검증 데이터 mAP 대비 타깃 도메인 테스트 데이터 mAP가 더 상승했기 때문이다. 즉, 맑은 날씨보다 오히려 악천후에서 정확도가 개선되었음을 알 수 있다. 예를 들어, Fig. 7과 같이 타깃 악천후 날씨가 모래(Sand)인 경우, 맑은 날씨 및 모래를 제외한 나머지 5가지 악천후 날씨가 소스 도메인으로 학습되는데, 여기서 맑은 날씨보다 타깃 악천후 환경(모래)이 상대적으로 더 단순한 시각적 패턴을 가지거나, 학습 과정에서 모래 날씨 조건과 유사한 특징이 충분히 포함되었기 때문에 모래의 mAP가 소스 도메인 mAP보다 높아져 결과적으로 DTDR이 음수로 나온 것으로 해석할 수 있다. 나머지 안개, 비의 DTDR도 동일한 원인으로 분석할 수 있다.

6. 결론 및 향후 연구(Conclusion and Future Work)

본 논문에서는 자율주행 환경에서 악천후로 인해 발생하는 도메인 시프트 문제를 해결하기 위해, Feature-level adversarial alignment 기반 DA와 Leave-One-Weather-Out 기반 DG를 적용한 객체 탐지 강건성 평가 프레임워크를 제안하였다. 제안 방법은 YOLOv8 기반 2D 객체 탐지 모델을 중심으로 설계되었으며, 악천후 환경에서도 안정적인 인지 성능을 확보하는 것을 목표로 한다.

실험 결과, 맑은 날씨 환경에서 학습된 Source-only 모델은 악천후 환경으로 전이될 경우 심각한 성능 저하를 보였으며, 이는 날씨 변화에 따른 도메인 시프트가 객체 탐지 성능에 직접적인 영향을 미침을 확인하였다. 반면, Feature-level adversarial alignment를 적용한 DA 모델은 소스-타깃 도메인 간 특징 분포 차이를 효과적으로 완화하여, 교차 도메인 환경에서 탐지 성능과 안정성을 모두 향상시켰다. 제안한 DA 모델은 Source-only 모델 대비 DTDR을 26.74 % 감소시키고, RI를 73.53 % 개선하였다. 특히 탐지 헤드를 고정한 구조적 설계는 적대적 학습 과정에서 발생할 수 있는 탐지 성능 왜곡을 방지하는 데 중요한 역할을 하였다.

또한 Leave-One-Weather-Out 기반 DG 실험을 통해, 학습 과정에서 관측되지 않은 악천후 환경에서도 제안 방법이 일관된 성능 향상을 달성함을 확인하였다. 강건성 지표 분석 결과, 6가지 악천후 환경에 대해 DG 모델은 DTDR을 평균 110.06%, RI를 평균 116.06% 개선시켰다. 제안한 DG 전략은 다양한 날씨 조건에서 성능 변동성을 효과적으로 억제하며, 미관측 환경에 대한 일반화 능력이 크게 향상됐음을 분석할 수 있다. 이는 악천후 환경을 명시적인 도메인 단위로 정의하고, 날씨 균형 샘플링을 적용한 데이터 구성 전략의 유효성을 입증한다.

일부 클래스(Train, Motorcycle)의 낮은 성능은 데이터 불균형, 객체의 물리적 특성, 기상 조건에 따른 영상 왜곡의 복합적인 영향 때문으로 분석된다. DA 실험에서는 타깃 도메인을 단일 분포로 정렬하는 과정에서 해당 클래스의 mAP가 Train 0.114, Motorcycle 0.138로 낮게 나타났으며, 이는 매우 낮은 인스턴스 비율(Train 0.5 %, Motorcycle 0.9 %)과 작은 객체 크기 및 자세 다양성 등의 요인으로 인해 특징 학습이 어렵기 때문으로 분석된다. 또한 안개에 의한 대비 감소, 비에 의한 노이즈 및 모션 블러, 눈의 반사 효과 등 영상의 광학적 왜곡 특성은 특징 분포 변화 및 객체 경계를 흐리게 하여 도메인 시프트를 가중시킨다. 반면 DG 실험에서는 소스 도메인에 다양한 기상 조건을 반영한 학습을 통해 Train, Motorcycle 클래스에서 성능 개선이 확인되었으며, 이는 도메인 불변 특징 학습을 통해 강건성이 향상되었음을 의미한다. 특히 DG 실험에서 기상 조건별로 DTDR과 RI 값이 다르게 나타난 것은 각 환경에서 발생하는 광학적 왜곡의 형태와 강도가 서로 다르기 때문으로 분석된다. 본 연구의 제안 시스템은 이러한 다양한 왜곡 환경에서도 도메인 불변 특징을 학습함으로써, 기상 조건별 DTDR 및 RI 지표가 개선되는 결과를 보였다.

종합적으로, 본 연구는 단일 정확도 지표 중심의 평가를 넘어, 도메인 전이 환경에서의 성능 안정성과 일관성을 정량적으로 분석할 수 있는 실험 프레임워크를 제시하였다는 점에서 의의가 있다. 제안한 접근 방식은 실제 자율주행시스템에서 예측하기 어려운 날씨 변화에 대응하기 위한 실질적인 인지 모델 설계 및 평가 기준을 제공한다.

본 연구는 단일 카메라 기반 2D 객체 탐지 중심으로 수행하여 카메라, LiDAR, Radar 등 다중 센서 융합 기반에 비해 악천후 환경에서의 센서 간의 상보적 효과를 충분히 반영하지 못한 한계가 있다. 이러한 한계점을 반영하여 향후 연구에서는 다음과 같은 확장이 가능하다. 첫째, 본 연구는 카메라 기반 2D 객체 탐지에 한정되어 있으므로, LiDAR 또는 다중 센서 융합 환경으로의 확장이 필요하다. 둘째, 악천후 조건이 단일 요인으로 존재하는 경우뿐 아니라, 비와 야간이 동시에 발생하는 복합 환경에 대한 도메인 강건성 평가가 요구된다. 셋째, 실제 자율주행 차량 또는 시뮬레이터 기반 주행 실험을 통해, 제안한 방법의 실시간성 및 시스템 수준의 안전성에 대한 검증이 필요하다.

Acknowledgments

본 과제(결과물)는 2025년도 교육부 및 충청북도의 재원으로 충북RISE센터의 지원을 받아 수행된 지역혁신중심 대학지원체계(RISE)의 결과입니다(2025-RISE-11-003-03).

이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 지역지능화혁신 인재양성사업임(IITP-2026-RS-2020-II201462).

References

• K. He, X. Zhang, S. Ren and J. Sun, “Deep Residual Learning for Image Recognition,” Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.770-778, 2016. [https://doi.org/10.1109/CVPR.2016.90]
• V. Musat, I. Fursa, P. Newman, F. Cuzzolin and A. Bradley, “Multi-Weather City: Adverse Weather Stacking for Autonomous Driving,” Proceedings of IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pp.2906-2915, 2021. [https://doi.org/10.1109/ICCVW54120.2021.00325]
• C. Sakaridis, D. Dai and L. Van Gool, “Semantic Foggy Scene Understanding with Synthetic Data,” International Journal of Computer Vision, Vol.126, No.9, pp.973-992, 2018. [https://doi.org/10.1007/s11263-018-1072-8]
• E. Tzeng, J. Hoffman, N. Zhang, K. Saenko and T. Darrell, “Deep Domain Confusion: Maximizing for Domain Invariance,” Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1130-1138, 2014.
• D. Kumar and N. Muhammad, “Object Detection in Adverse Weather for Autonomous Driving through Data Merging and YOLOv8,” Sensors, Vol.23, No.20, 2023. [https://doi.org/10.3390/s23208471]
• J. Terven and D. M. Cordova-Esparza, “A Comprehensive Review of YOLO Architectures in Computer Vision: From YOLOv1 to YOLOv8 and YOLO-NAS,” Machine Learning and Knowledge Extraction, Vol.5, No.4, pp.1680-1716, 2023. [https://doi.org/10.3390/make5040083]
• N. Dalal and B. Triggs, “Histogram of Oriented Gradients for Human Detection,” Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), pp.886-893, 2005. [https://doi.org/10.1109/CVPR.2005.177]
• D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004. [https://doi.org/10.1023/B:VISI.0000029664.99615.94]
• Y. Shi, X. Ying and J. Yang, “Deep Unsupervised Domain Adaptation with Time Series Sensor Data: A Survey,” Sensors, Vol.22, No.15, 2022. [https://doi.org/10.3390/s22155507]
• N. Peng and M. Dredze, “Multi-Task Domain Adaptation for Sequence Tagging,” Proceedings of 2nd Workshop on Representation Learning for NLP, pp.91-100, 2017. [https://doi.org/10.18653/v1/W17-2612]
• X. Huang, N. Zhou, J. Huang, H. Zhang, W. Pedrycz and K.-S. Choi, “Center Transfer for Supervised Domain Adaptation,” Applied Intelligence, Vol.53, pp.18277-18293, 2023. [https://doi.org/10.1007/s10489-022-04414-2]
• O. Katz, R. Talmon and U. Shaham, “Supervised Domain Adaptation Based on Marginal and Conditional Distributions Alignment,” Transactions on Machine Learning Research, 2024.
• Y. Ganin, E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M. Marchand and V. Lempitsky, “Domain-Adversarial Training of Neural Networks,” Journal of Machine Learning Research, Vol.17, No.59, pp.1-35, 2016.
• J.-Y. Zhu, T. Park, P. Isola and A. A. Efros, “Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks,” Proceedings of IEEE International Conference on Computer Vision (ICCV), pp.2223-2232, 2017.
• Y. Zou, Z. Yu, B. V. K. Vijaya Kumar and J. Wang, “Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training,” Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.8213-8222, 2018. [https://doi.org/10.1007/978-3-030-01219-9_18]
• H. Li, S. J. Pan, S. Wang and A. C. Kot, “Domain Generalization with Adversarial Feature Learning,” Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp.5400-5409, 2018. [https://doi.org/10.1109/CVPR.2018.00566]
• E. D. Cubuk, B. Zoph, J. Shlens and Q. V. Le, “RandAugment: Practical Automated Data Augmentation with a Reduced Search Space,” Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp.3008-3017, 2020. [https://doi.org/10.1109/CVPRW50498.2020.00359]
• B. Sun, J. Feng and K. Saenko, “Correlation Alignment for Unsupervised Domain Adaptation,” Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.1431-1440, 2016. [https://doi.org/10.1007/978-3-319-58347-1_8]
• D. Li, Y. Yang, Y.-Z. Song and T. M. Hospedales, “Learning to Generalize: Meta-Learning for Domain Generalization,” Machine Learning, Vol.108, No.3, pp.421-447, 2019.
• M. Arjovsky, L. Bottou, I. Gulrajani and D. Lopez-Paz, “Invariant Risk Minimization,” Machine Learning, Vol.110, No.2-3, pp.579-613, 2021.
• M. Alimov and T. Meiramkhanov, “Domain Generalization in Autonomous Driving: Evaluating YOLOv8s, RT-DETR, and YOLO-NAS with the ROAD-Almaty Dataset,” arXiv:2412.12349, , 2024.
• M. HassanPour Zonoozi and V. Seydi, “A Survey on Adversarial Domain Adaptation,” Neural Processing Letters, Vol.55, No.6, pp.2429-2469, 2023. [https://doi.org/10.1007/s11063-022-10977-5]
• Y. Chen, W. Li, C. Sakaridis, D. Dai and L. Van Gool, “Domain Adaptive Faster R-CNN for Object Detection in the Wild,” Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3339-3348, 2018. [https://doi.org/10.1109/CVPR.2018.00352]
• Y. Ganin and V. Lempitsky, “Unsupervised Domain Adaptation by Backpropagation,” Proceedings of the 32nd International Conference on Machine Learning, Vol.37, pp.1180-1189, 2015.
• X. Zhang, Y. He, R. Xu, H. Yu, Z. Shen and P. Cui, “NICO++: Towards Better Benchmarking for Domain Generalization,” Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp.16036-16047, 2023. [https://doi.org/10.1109/CVPR52729.2023.01539]