이미지 기반 강화학습 알고리즘으로 보상의 합에 대한 기댓값을 최대화하는 Off-policy actor-critic 강화학습 알고리즘인 SAC를 사용한다.¹⁸⁾ 에이전트는 입력 이미지로부터 최적의 Action을 선택할 수 있도록 학습되며, 출력 Action은 보상과 함께 Replay buffer D에 Transition으로 저장된다. SAC의 매개 변수는 가치 함수의 ψ, Q 함수의 θ, 정책 함수의 ϕ로 구성된다. Critic 매개 변수는 Replay buffer D에서 샘플링된 Transition을 사용하여 벨만 오류를 최소화함으로써 학습된다.

현재 정책에 따라 Action을 샘플링하여 소프트 상태가치함수를 다음과 같이 추정할 수 있으며 Q¯θ는 Critic network의 Exponential moving average를 의미한다.

정책 매개 변수는 Q 함수의 Exponential과의 차이를 최소화하도록 학습된다.

SAC는 고차원 이미지 데이터를 사용할 때 효과적인 강화학습 알고리즘이며 특히 연속적인 Action space에서 좋은 성능을 나타낸다.

비지도학습(Unsupervised Learning) 방법의 일종인 자기지도학습(Self-supervised Learning)은 최종적으로 성능을 향상시키고자 하는 Downstream task를 위해 구실 작업(Pretext task)을 학습하는 것을 목표로 한다.¹⁹⁾ 분류, 객체 감지 또는 강화학습과 같은 Downstream task의 성능을 향상시킬 수 있는 적절한 구실 작업을 학습한 모델은 라벨이 지정되지 않은 고차원 이미지 데이터로부터 유효한 Feature를 추출할 수 있으며, 전이 학습을 통해 이를 활용할 수 있다. 최근 MoCo,²⁰⁾ SimCLR,²¹⁾ BYOL,²²⁾ BERT²³⁾와 같은 자기지도학습 알고리즘은 자연어 처리 및 컴퓨터 비전 분야에서 큰 발전을 이루었으며 이미지 기반 강화학습에도 적극적으로 적용되고 있다.

자기지도학습은 구실 작업에 따라 여러 유형으로 나눌 수 있다. 그 중에서도 대조학습(Contrastive learning)은 Positive 이미지 쌍 간의 유사성을 높이고 Negative 이미지 쌍 간의 유사성을 줄이는 것을 목표로 하는 자기지도학습 방법이다.²⁴⁾ Fig. 3에 나타난 바와 같이, Positive 쌍과 Negative 쌍을 정의하기 위해, 입력 이미지를 두 번 Random crop 하여 쿼리와 키 이미지를 생성한다. 쿼리를 기준으로 동일한 이미지에서 증강된 키를 Positive 쌍으로 정의하고, 다른 이미지에서 생성된 키를 Negative 쌍으로 정의한다. 대조학습을 통해 쿼리 인코더는 라벨이 지정되지 않은 이미지에서 풍부한 표현 벡터를 추출하여 강화 학습의 이미지 효율성을 향상시킬 수 있다. 본 논문에서는 대조 학습의 손실 함수로 InfoNCE를 사용한다. 식 (4)에서, q는 이미지로부터 50차원으로 임베딩된 쿼리 벡터이고, k₊와 k_i는 각각 동일한 차원의 Positive 키와 Negative 키 벡터이며, W는 벡터 내적 연산을 위한 행렬이다.²⁵⁾

Fig. 3 
Conventional reinforcement learning architecture with contrastive learning(CURL¹¹⁾)

랜덤 네트워크는 이미지 기반 심층 강화학습의 다양한 관점에서 성능을 개선하기 위해 사용되었다. 예를 들어, 앙상블 기반 접근법에 초점을 맞춘 연구에서는 심층 강화학습의 불확실성 추정과 탐색을 개선하기 위해 무작위 네트워크를 사용했다.²⁶⁾ 또한, 미탐색 상태 인식 작업에서 무작위로 초기화된 신경망을 사용하여 미탐색 상태 방문에 대한 본질적 보상을 정의했다.²⁷⁾ 본 연구에서는 이미지 기반 강화학습의 일반화 성능을 개선하기 위해 랜덤 네트워크를 사용한다. 입력 이미지는 커널 크기가 3인 단일 레이어 CNN에 의해 무작위로 변화한다. 또한 출력 이미지의 차원은 입력 차원과 동일하도록 패딩 과정을 거친다. 학습 시 매 Iteration마다 랜덤 네트워크의 가중치는 Xavier 정규 분포²⁸⁾를 따라 무작위로 초기화된다.

입력 이미지가 학습의 모든 Iteration마다 무작위로 초기화되는 컨볼루션 레이어를 통과할 때 강화학습 에이전트는 학습 환경과 같지만 사소한 배경이나 색상과 같은 것들이 변화한 테스트 환경에 더 강건하도록 학습될 수 있다. 즉, Fig. 4와 같이 랜덤 컨볼루션을 통과한 입력 이미지는 시각적 패턴이 다양하게 변화하고 색상, 모양 또는 질감과 같은 다양하고 교란된 Low level feature을 제공할 수 있도록 강력하게 증강되기 때문에 강화학습의 일반화를 크게 개선할 수 있다.²⁸⁾ 랜덤 컨볼루션과 같은 강력한 데이터 증강은 일반화에 대한 보조 효과를 향상시킬 수 있지만, 입력 이미지의 정보를 크게 변화시켜 강화학습의 불안정성과 성능 저하를 초래하기 때문에 독립적인 사용이 제한된다.¹⁸⁾

Fig. 4 
Example of a random convolution process

강화학습 에이전트는 랜덤하게 증강된 입력 이미지를 사용하여 학습된다. 입력 이미지를 랜덤화하기 위해 Feature extractor 전면에 단층의 컨볼루션 신경망을 랜덤 네트워크로 추가한다. 각 반복마다 랜덤 네트워크의 가중치는 Xavier 정규 분포를 따라 무작위로 초기화된다.²⁹⁾ 랜덤 네트워크를 통과한 출력 이미지는 입력과 동일한 차원을 가지며, 여러 패턴의 다양한 랜덤 이미지가 생성된다.

입력 이미지의 과도한 변화로 인한 시각적 정보의 손실을 방지하기 위해 Fig. 5와 같이 랜덤 컨볼루션 레이어를 통과한 이미지 O_random과 원본 이미지 O_origin을 일정 비율로 혼합하여 최종 입력 O_blend로 사용한다. 영상 혼합 비율은 식 (5)와 같이 파라미터 α를 통해 설정된다.

Fig. 5 
Principle of blending original and randomized images

α가 1에 가까울수록 원본 이미지의 혼합 비율이 크므로 컨볼루션 대조학습이 일반화 성능에 대한 충분한 보조 효과를 얻을 수 없다. 반대로 α가 0에 가까운 값일 때는 랜덤 이미지 혼합 비율이 크기 때문에 일반화 효과는 크지만 학습 자체를 혼란스럽게 할 수 있다. 본 절에서는 데이터 증강 강도와 관련된 Trade-off를 극복하고 강력한 데이터 증강을 효과적으로 활용하는 학습 방법을 소개한다.

학습 시작 단계에서는 랜덤 컨볼루션이 입력 이미지에 적용되지 않는다. 즉 CURL¹¹⁾와 유사한 방식으로, 인코더를 통해 생성된 쿼리 및 키 벡터는 강화학습 및 대조학습에 사용된다. Fig. 3에 나타난 바와 같이, 랜덤 컨볼루션 레이어는 추가되지 않으며, 인코더는 대조학습을 위한 약한 데이터 증강(Random crop)만을 사용하여 훈련된다.

이후, Fig. 6과 같이 랜덤 컨볼루션 레이어가 인코더 전면에 추가되어 강력한 데이터 증강을 유도한다. 생성된 랜덤 이미지는 원본 이미지와 혼합하여 최종 입력 데이터로 사용되며 학습이 진행될수록 랜덤 이미지의 혼합 비율은 커진다. 실험 결과, α가 0.2 아래의 값으로 내려갈 경우, 원본 이미지의 정보를 거의 사용하지 않게 되어 학습이 매우 불안정하게 진행되었다. 최종적으로, α를 1에서 0.2로 선형적으로 감소하도록 설정했을 때 전반적으로 가장 나은 일반화 성능을 나타냈다. 제안한 학습 방식과 같이 랜덤 이미지 혼합 비율을 동적으로 변화시킨 경우가 학습의 시작부터 끝까지 같은 강도의 강한 증강을 사용하는 학습 방법보다 더 효과적으로 강하게 증강된 이미지를 사용할 수 있다.

Fig. 6 
Reinforcement learning and contrastive learning with the random convolution (0 < α < 1)

본 절에서는 제안한 컨볼루션 대조학습 방법에서의 이미지 혼합 파라미터 α가 일반화 성능에 미치는 영향을 연구한다. Table 1은 DMControl generalization benchmark 환경의 Color-Hard 및 Video-easy 모드에 대한 테스트 점수를 나타낸다. 먼저 제안한 컨볼루션 대조학습 방법 자체의 일반화 효과를 검증하기 위해 기본 강화학습 알고리즘인 SAC의 테스트 점수를 측정한다. 그 후, 랜덤 이미지와 원본 이미지의 혼합 파라미터를 각각 1, 0.8, 0.2로 고정하고 학습을 진행한다. Fig. 7에서 볼 수 있듯이, 랜덤 네트워크를 통과하는 이미지의 혼합 비율이 클 수록 일반화 성능에 대한 대조학습의 보조 효과가 증가하기 때문에 학습 점수와 테스트 점수 사이의 차이는 작지만 학습 점수 자체가 낮아지기 때문에 비약적인 성능 향상을 기대할 수 없다.

Fig. 7 
Learning curves of proposed convolutional contrastive reinforcement learning according to blending parameter α in DMControl Walker-walk environment, color-hard mode. (a) uses only original image. (b) and (c) use blended image with blending parameter α is 0.8 and 0.2 respectively. (d) uses decreasing blending parameter α (1 → 0.2)

이러한 증강 강도에 따른 강화학습의 안정성과 일반화 성능 사이의 Trade-off를 극복하기 위해 학습 동안 이미지 혼합 파라미터 α가 1에서 0.2로 일정하게 감소하도록 설정하고 학습한 뒤 테스트 결과를 비교하였다. 학습 초기에는 원본 이미지의 비율을 높게 설정하고 학습이 진행함에 따라 랜덤 이미지 혼합 비율을 점점 더 증가시키는 방법을 통해 강화학습 에이전트는 점점 더 강해지는 증강 이미지를 사용하게 된다. 해당 학습 방법을 통해 강한 증강으로 인한 학습 성능 저하를 방지함으로써 정적 및 동적으로 배경이 변화하는 테스트 환경에서 더 높은 점수를 얻을 수 있다. 제안된 접근 방식은 훈련 과정 전반에 걸쳐 동일한 증강을 사용하는 방법보다 이미지 기반 강화학습의 일반화 성능을 효과적으로 향상시킬 수 있다.

다음으로, 앞서 제안한 이미지 혼합 파라미터를 변화시키는 컨볼루션 대조학습 방법을 기존 SOTA 알고리즘들과 비교한다. CURL¹¹⁾: 제안한 방법에서 이미지 혼합 파라미터 α를 1로 설정하는 것과 동일한 방법으로, 대조학습을 위한 약한 증강(Random crop)만을 사용하는 방법; RAD³¹⁾: 랜덤 Translation 및 랜덤 진폭 스케일이라는 두 가지 새로운 데이터 증강을 도입하여 일반화 성능을 향상시킨 방법; DrQ³²⁾: 데이터 증강을 통한 가치함수 정규화를 사용한 방법; PAD³⁰⁾: 테스트 시 정책 적응(Policy Adaptation)을 위한 자기지도학습(Self-supervised Learning)을 적용한 방법. Table 2에서 확인할 수 있듯이, DMControl의 정적 및 동적 배경 변화를 포함하는 모든 테스트 환경에서 제안한 동적 이미지 혼합 파라미터를 통한 컨볼루션 대조학습을 통한 강화학습은 기존 연구들의 일반화 성능을 크게 능가한다.