강화학습을 활용한 2모터 주행거리 연장형 전기차의 주행 전략 개발
Copyright Ⓒ 2026 KSAE / 249-06
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
This study developed a reinforcement learning-based driving strategy for a two-motor extended-range electric vehicle in which the front motor is responsible for both traction and generation. A CarSim-Python co-simulation environment was constructed, and the Soft Actor-Critic algorithm was used to train an integrated policy for generation timing and front-rear torque distribution. The analysis showed that the learned policy avoided high-loss intervals in generation control, while efficiency-map-based allocation exhibited lower motor losses characteristics in torque distribution. Based on these complementary features, a hybrid strategy was designed by combining RL-based generation control with efficiency-map-based torque allocation. The proposed strategy improved driving range not only in the training cycle but also in external driving cycles such as LA92, WHVC, and IM240, demonstrating its effectiveness across diverse driving conditions.
Keywords:
Extended-range electric vehicle, Two-motor powertrain, Torque distribution, Generation operation, Reinforcement learning, Soft actor-critic키워드:
주행거리 연장형 전기차, 2 모터 파워트레인, 전후륜 토크 분배, 발전 운용, 강화학습, 소프트 액터-크리틱1. 서 론
전 세계적으로 탄소중립 정책이 강화되면서 자동차 산업의 전동화 전환이 빠르게 진행되고 있다. 국제에너지기구(IEA)의 Global EV Outlook 2025에 따르면 전기차(EV)와 플러그인 하이브리드(PHEV)의 보급은 지속적으로 확대되고 있으며, 전동화 차량은 향후 주요 시장에서 큰 비중을 차지할 것으로 전망된다.1) 그러나 EV는 대용량 배터리 적용에 따른 높은 제조 비용, 충전 인프라의 지역적 불균형, 장거리 주행 시 충전 시간 증가와 같은 한계를 지니고 있으며, 이러한 제약은 중대형 차량에서 더욱 두드러지게 나타난다.2-4) 이와 같은 문제를 보완하기 위한 대안으로 주행거리 연장형 전기차(EREV: Extended Range Electric Vehicle)가 주목받고 있다.5) EREV는 배터리를 주요 구동원으로 사용하면서 엔진을 발전 전원으로 활용해 전력을 생산하는 방식으로 충전 인프라 의존도를 낮추고 장거리 주행 성능을 향상시킬 수 있다. 이러한 특성으로 인해 EREV는 EV와 하이브리드 차량의 장점을 절충한 실용적인 전동화 기술로 평가되고 있다. 기존 연구는 발전 시스템과 전후륜 구동 모터가 분리된 EREV 구조를 중심으로 수행되어 왔다.6,7) 이 구조는 발전 기능과 구동 기능이 분리되어 제어가 용이하다는 장점을 가지만, 전력 변환 단계가 증가하여 효율이 저하되고 구성 부품 증가로 인한 중량 및 비용 상승의 한계를 가진다.8) 이에 따라 최근에는 전륜 모터가 발전 기능과 구동 기능을 동시에 수행하고, 후륜 모터가 주 구동을 담당하는 2모터 기반 EREV 구조가 새로운 대안으로 제시되고 있다.9,10) 이 구조는 발전 전용 모터를 제거함으로써 시스템 구성을 단순화하고 경량화를 실현할 수 있으며, 전력 변환 단계를 축소하여 효율을 개선할 수 있다. 그러나 발전 기능과 구동 기능이 단일 모터에서 통합적으로 이루어지기 때문에 전력 흐름, 전후륜 토크 분배, 배터리 전력 흐름 간의 상호 영향이 커지고 제어 복잡성이 증가하는 기술적 과제가 존재한다. 전동화 차량의 에너지 관리와 구동력 분배는 SOC 기반 모드 전환, 엔진 고효율 영역 운전, 요구 구동력 기반 토크 분배 등 규칙 기반 전략을 중심으로 연구되어 왔다.11-13) 다만 이러한 방식은 주행 조건 변화에 따라 설정값 의존성이 커지고, 제어 변수가 강하게 결합된 구조에서는 요소 간 상호작용을 충분히 반영하기 어렵다는 한계가 제기되었다.14,15) 또한 발전 운용과 토크 분배가 결합된 조건에서는 SOC 유지 범위, 발전 최소 유지 조건과 같은 운용 제약을 만족하면서 항속거리를 향상시키기 위한 통합 의사결정이 요구되므로, 전체 성능 관점에서 일관된 제어 전략을 도출하는 데 어려움이 따른다.16,17) 이에 따라 최근에는 강화학습을 활용하여 에너지 관리 및 토크 분배 정책을 학습하는 연구가 활발히 수행되고 있으며, 운용 제약을 고려한 통합 제어 문제에 적용 가능한 접근으로 제시되고 있다.18,19) 이에, 제안 연구에서는 CarSim과 Python 연동 기반 학습 및 평가 환경을 구축하고, 발전 운용을 상위 제어, 전후륜 토크 분배를 하위 제어로 계층적으로 구성한 강화학습 기반 주행 전략을 설계하였다. 학습 후에는 제어 전략의 타당성을 검증하였으며, 운전 특성을 상세 분석하여 개선 방안을 도출하였다. 본 논문의 구성은 다음과 같다. 2장에서는 연구 대상 차량의 시스템 사양 선정과 모델링 절차를 설명하고, CarSim과 Python 연동을 통해 구축한 시뮬레이션 환경을 소개한다. 3장에서는 강화학습 기반 제어 전략의 구조와 학습 방법을 기술하며, 발전 시점과 전후륜 토크 분배 방식에 대한 주행 분석 결과를 정리하고 제어 개선 방향을 도출한다. 4장에서는 연구 결과를 요약하고 향후 연구 방향을 제시한다.
2. 시스템 모델링 및 통합 설계
본 장에서는 2모터 기반 EREV 파워트레인의 구성요소 사양과 차량 제원을 정의하고, 전륜 모터의 발전 기능 수행 여부에 따라 구분되는 동력 전달 구조를 제시하였다. 파워트레인 모델은 배터리 주행 모드와 엔진 발전 주행 모드의 전력 흐름을 중심으로 구성되었으며, CarSim 차량 동역학 모델과 해당 차종의 공개된 전기전자 구성 요소들의 사양을 활용하여 가속 성능, 최고속도, 배터리 충방전 전력 제한을 기준으로 시스템 검증을 수행하였다. 다. CarSim에는 2모터 기반 EREV 파워트레인 구조가 기본적으로 구현되어 있지 않지만, CarSim의 Dual-Axle Electric Drive EV 모델, 엔진-발전기 모델을 동시에 조합하여 활용하였다. 엔진 발전 주행 모드에서 엔진에 의한 발전만 수행되고, 전륜 구동 토크가 차량으로 전달되지 않도록 Python에서 입력 인터페이스를 조절하였다.
2.1 구성요소 사양 정의
전륜 모터는 구동과 엔진을 이용한 발전 기능을 수행하며, 후륜 모터는 차량의 주 구동을 담당한다. 구성요소 사양은 D-segment 전기차의 실측 데이터와 차량 동력 성능 요구 조건을 고려하여 선정하였다. 각 구성요소의 주요 사양과 차량 제원은 각각 Table 1과 Table 2에 정리하였다.
Specifications of the main powertrain components
Specifications of the vehicle
전륜 모터는 정격출력 70 kW, 최대토크 255 Nm, 감속비 10.65를 적용하였고, 후륜 모터는 정격출력 160 kW, 최대토크 350 Nm, 감속비 13.65로 구성하였다. 모터 효율은 다이나모 상으로 실측된 속도와 토크 기반의 효율맵을 사용하여 전력 계산에 반영하였다. 엔진은 발전 전용으로 운용되며, 연료 소비가 낮은 고효율 작동점(회전수 및 토크)에서 고정 운전된다고 가정하였다.12,20) 생성된 전력은 차량 구동 보조 또는 배터리 충전에 활용된다. 배터리는 2P132S, 111.2 Ah, 330 ~ 554.4 V 구성으로 설계하였으며, OCV-SOC 곡선과 SOC에 따른 내부저항을 반영하여 단자전압과 전류 제한 특성을 고려하였다.
2.2 파워트레인 동력 전달 구조
전륜 모터가 발전 기능을 수행하는지 여부에 따라 전력 흐름이 두 가지 주행 모드로 구분된다. 두 모드의 동력 및 전력 계산은 CarSim에 구현된 파워트레인 모델을 기반으로 수행하였다.
배터리 주행 모드는 전륜 모터와 후륜 모터가 배터리 전력만으로 구동되는 구조이다. 주행 사이클을 추종하는 속도 제어기에서 요구되는 구동 토크는 전후륜 분배비에 따라 모터별 요구 토크로 할당되며, 각 모터의 회전속도는 차량 속도와 감속비를 통해 결정된다. 산출된 요구 토크와 회전속도는 모터 효율맵과 연계되어 전력 요구량으로 변환되며, 구동 구조는 Fig. 1(a)에 나타내었다. 감속 구간에서는 모터가 회생제동을 통해 전력을 회수하며, 배터리의 전류 및 전압 제한 조건 내에서 회생 가능 전력이 결정된다. 전륜과 후륜 모터의 회생 비율은 전후륜 토크 분배 전략에 따라 정의된다. 배터리로 유입되는 회생 전력의 흐름은 Fig. 1(b)에 나타내었다.
Power flow diagrams of the battery driving mode
엔진 발전 주행 모드는 주행 중 엔진이 최적 효율 운행점에서 작동하는 것으로 가정하였으며, 전륜 모터가 발전 기능을 수행하는 구조이다. 대상 EREV 컨셉은 직렬형 하이브리드에 가까워 엔진 출력은 배터리 충전용으로 작게 설계되어 직접 차량을 구동하기는 어려우며, 엔진으로부터 공급된 기계 동력은 전륜 모터를 통해 전력으로 변환되고, 생성된 발전 전력은 후륜 모터의 요구 전력에 우선적으로 사용된다. 후륜 모터 구동에 필요한 전력이 발전 전력 보다 큰 경우에는 부족한 전력을 배터리에서 보조하며, 발전 전력이 요구 전력보다 큰 경우에는 잉여 전력이 배터리 충전에 활용된다. 전력 흐름은 Fig. 2(a)에 나타내었다. 이 운전 모드에서는 전륜 모터가 구동 토크를 제공하지 않기 때문에 차량 추진은 후륜 중심으로 이루어진다. 또한 감속 구간에서는 회생제동이 가능하나, 전륜 모터가 발전 기능을 수행하는 동안 전륜 축 회생제동은 제한된다. 이때 배터리로 유입되는 충전 전력은 전륜 모터 발전 전력과 후륜 모터 회생제동 전력의 합으로 계산하였으며, 배터리 충전 허용 전류 한계와 최대 전압 조건으로부터 산정한 충전 가능 전력 범위 내에서 반영되도록 구성하였다.12,21) 적용한 시나리오에서는 두 전력의 합이 충전 가능 전력 범위를 초과하지 않았으며, 회생제동 전력 흐름은 Fig. 2(b)에 나타내었다.
Power flow diagrams of the engine-generation driving mode
2.3 시스템 검증
모델링된 파워트레인의 실차 요구 성능 충족 여부를 평가하기 위해, 가속 성능, 최고속도, 배터리 충방전 전력 제한 준수 여부를 기준으로 시스템 검증하였다. 모든 검증은 CarSim 차량 동역학 모델 내에 구현된 파워트레인 모델을 기반으로 수행하였다. 가속 성능과 최고속도는 Full-throttle 조건에서의 속도–시간 응답을 통해 평가하였다. 시뮬레이션 결과 0에서 100 km/h 도달 시간은 약 4.6 s, 최고속도는 약 250 km/h로 나타났다. 이는 일반적 D-segment 전기차의 성능 수준을 참고하여 설정한 목표 성능 범위와 부합하며, 속도-시간 응답은 Fig. 3과 같다.
Speed-time response under the full-throttle condition
배터리 시스템의 충방전 전력 제한은 SOC, 단자전압, 내부저항으로부터 산출된 최대 충전 및 방전 가능 전력과 파워트레인이 요구하는 전력을 비교하는 방식으로 평가하였다. Table 3은 학습에 사용된 SOC 구간인 0.39–0.46 범위에 대해 산출된 충방전 전력 제한값을 정리한 것으로, 해당 SOC 범위 내에서 배터리 전력 한계가 적절히 유지됨을 확인하였다. 감속의 경우, 연구에서 가정한 주행 사이클에서는 회생제동만으로 모든 감속이 수행되었으며, 실제 차량의 경우, 큰 감속 시 모터 회생제동만으로 부족한 제동토크는 추가 마찰제동으로 보완한다.
Charge and discharge power limits of the battery system within the SOC range of 0.39–0.46
3. 강화학습 기반 주행전략 개발
3.1 강화학습 환경 구성
강화학습은 2장에서 구성한 파워트레인 모델을 CarSim 차량 동역학 환경과 Python 제어 구조로 연동하여 수행하였다. CarSim과 Python의 연동은 Github에 공개된 Python CarSim 연동 라이브러리를 활용하여 구현하였다.22) CarSim은 목표 속도 프로파일을 추종하기 위해 종방향 운전자 모델을 사용하며, 속도 오차를 기반으로 PID제어 형태의 종방향 가감속 제어를 수행한다. 이 운전자 모델의 출력은 주행 사이클 추종을 위한 차량 전체 요구 구동 또는 제동 토크이며, CarSim은 이를 바탕으로 차량 속도, 요구 구동력, 배터리 상태 등 주요 주행 변수를 계산한다. 이들 변수는 에이전트의 상태로 입력되고, Python 환경의 에이전트는 해당 상태를 기반으로 전후륜 토크 분배비와 전륜 모터의 발전 모드 진입 여부를 결정한다. 선택된 제어 입력은 다음 스텝의 CarSim 계산에 반영되어 차량 상태가 업데이트된다. CarSim과 Python은 Step-by-step 방식으로 상호작용하며, 연동 기반 학습 환경은 Fig. 4와 같다.
Overall reinforcement learning framework integrating the CarSim–Python co-simulation environment
학습은 UDDS(Urban Dynamometer Driving Schedule)와 HWFET(Highway Fuel Economy Test) 주행 사이클을 조합하여 수행하였다. UDDS는 저속 가감속이 반복되는 도시 주행 조건을, HWFET는 비교적 일정한 속도 구간을 포함한 고속도로 주행 조건을 나타내어 파워트레인의 다양한 운행 상황을 반영할 수 있다. 각 에피소드는 항속거리 비교를 위해 초기 배터리 SOC 0.455와 초기 연료량 1.25 kg을 동일하게 설정하였다. 연료는 엔진이 발전 모드로 운전되는 구간에서만 소모되며, 시간 스텝에 비례하는 상수 연료 소모율로 모델링하였다. 에피소드는 연료가 모두 소모되고 배터리 SOC가 에피소드 종료 조건으로 설정한 0.395에 도달하는 시점에서 종료되며, 이러한 SOC 운용 범위(0.455–0.395)는 주행 중 배터리 충전상태를 일정 구간 내에서 유지하는 주행거리 연장형 전기차의 충전상태 유지(Charge-sustaining) 운전 모드를 고려하여 설정하였다. 또한 강화학습의 학습 시간을 고려하여 SOC 변동 폭을 제한된 범위로 구성하였으며, 이는 에피소드 길이가 과도하게 증가하는 것을 방지하여 학습 효율을 확보하기 위함이다. 종료 시점까지의 이동 거리를 항속거리로 정의하여 정책의 성능 지표로 사용하였으며, 초기 연료 1.25 kg은 배터리 SOC 약 0.05에 해당하는 에너지를 공급할 수 있다. 학습에 사용한 UDDS–HWFET 조합 시나리오의 차량 주행 속도 프로파일은 Fig. 5에 나타내었다.
Speed profile of the combined UDDS–HWFET driving cycle
강화학습 에이전트는 Soft Actor-Critic(SAC) 알고리즘을 기반으로 정책 신경망과 두 개의 가치함수 신경망으로 구성하였다. 정책 신경망의 입력은 에이전트가 관측하는 상태이며, 출력은 전후륜 토크 분배비와 전륜 모터의 발전 모드 결정을 포함하는 2차원 연속 제어 입력이다. 네트워크는 은닉층 수와 노드 수를 달리한 여러 구조를 비교한 결과, 학습 수렴 안정성과 성능이 가장 우수한 두 개의 은닉층(각 256 노드)으로 네트워크를 구성하였고, 은닉층에는 ReLU 활성화 함수를 적용하였다. 출력층에서는 행동의 평균과 로그 표준편차를 산출한 후 가우시안 분포에서 샘플링하고 Tanh 변환을 거쳐 최종 제어 입력을 생성한다. 가치함수 신경망은 상태와 행동을 함께 입력으로 받아 단일 스칼라 Q값을 출력하며, 과대추정을 완화하기 위해 두 개의 Q 네트워크를 병렬로 사용하였다. 두 Q 네트워크는 정책 신경망과 동일한 구조를 사용하였다. 정책 신경망과 가치함수 신경망은 동일한 학습률을 갖는 Adam 옵티마이저로 학습되며, 타깃 Q 네트워크는 소프트 업데이트 방식으로 갱신된다. 학습에 사용된 PC(Windows 10, Intel 16-core 24-thread CPU, 32GB RAM)에서 학습 후 정책 신경망의 CPU single-thread 1-step 추론 시간을 측정한 결과 평균 0.232 ms(p95 0.300 ms)로 10 ms 제어 주기 대비 약 2.32 % 수준이었으며, 경량화와 연산 최적화를 적용할 경우 ECU 또는 임베디드 환경에서도 실시간 적용이 가능할 것으로 예상된다.
3.2 상태 및 행동 변수 정의
상태 변수는 배터리 상태, 연료 잔량, 모터 동작 상태, 동력 요구 조건, 전륜 모터의 발전 기능 수행 여부를 포함하며, CarSim에서 계산된 값을 기반으로 시간 스텝마다 갱신된다. 각 상태 변수는 파워트레인의 에너지 흐름과 제어 입력 변화에 따른 시스템 응답을 반영하도록 구성하였으며, 상태 변수는 Table 4에 정리하였다. 행동 변수는 전후륜 모터 토크 분배와 전륜 모터의 발전 기능 수행 여부로 구성하였다. 전후륜 모터 토크 분배는 주행 사이클에서 요구되는 총 구동 토크를 전륜과 후륜에 어떻게 분배할지를 나타낸다. 전륜 모터의 발전 기능 수행 여부는 SOC 기반 Charge-sustaining 운전 모드를 반영하여 SOC 임계값(하한 0.40, 상한 0.45)과 발전 기능 최소 유지 시간 60 s를 만족하는 경우에만 유효한 제어 입력으로 처리되며, 이러한 제약을 확인한 후 CarSim 계산에 반영된다. 행동 변수는 Table 5에 정리하였다.
State variables
Action variables
3.3 보상 함수 설계
EREV의 항속거리 향상을 위해 보상 함수는 주행 사이클 속도 추종을 전제로, 운전자 모델이 산출한 총 구동 및 제동 요구를 만족시키는 범위에서 에너지 손실이 최소화되도록 설계하였다. 이를 위해 배터리 SOC의 실제 변화량과 주행 사이클 요구 전력으로부터 계산된 SOC 변화량의 차이를 활용하는 ΔSOC 기반 보상 구조를 적용하였다. 두 변화량의 차이는 주행 과정에서 발생한 손실을 반영하며, 손실이 작을수록 보상이 증가한다. 배터리의 실제 SOC 변화량 ΔSOCreal,t는 CarSim 통합 파워트레인 모델을 통해 계산되며 다음과 같이 정의된다.
| (1) |
주행 사이클 요구 전력 Pcycle,t는 해당 시점의 주행 조건을 만족하기 위해 필요한 동력 정보를 나타내며, 이를 배터리 모델을 통해 환산하여 산출한 SOC 변화량 ΔSOCcmd,t 는 손실이 반영되기 이전 단계의 에너지 소모를 나타낸다.
| (2) |
fbat(·)는 Pcycle,t를 배터리 모델을 통해 SOC 변화량으로 환산하는 변환 함수이다. ΔSOC ≤ 0은 방전, ΔSOC > 0은 충전을 의미하며 두 SOC 변화량의 차이는 보상 설계에 활용되며 다음과 같이 계산된다.
| (3) |
항상 Reward_factort ≥ 0이며, 손실이 작을수록 그 값이 작아져 최종 보상 값인 Rewardt가 증가하며, Rewardt는 다음과 같이 정의된다.
| (4) |
S1, S2, S3는 scaling_factor로 학습 안정성을 위해 적용한 계수들이다.
3.4 학습 안정화 기법
학습 과정에서 단일 Replay buffer에서 무작위 샘플링 시 에피소드 전 구간의 경험이 균등하게 추출되지 않아 일부 구간만 집중적으로 학습에 반영되는 편중 문제가 확인되었고, 정책이 특정 구간의 패턴에 고착되는 경향이 나타났다. 이를 보완하기 위해 에피소드를 16개 구간으로 분할한 Multi-buffer replay 구조를 적용하였다. 각 구간의 Transition을 대응하는 버퍼에 저장하고, 학습 업데이트 시 모든 버퍼에서 동일한 개수의 Transition을 추출하여 구간별로 균등하게 샘플링되도록 하였다. 또한 Transition을 에피소드 단위로 관리하고, 매 Epoch 종료 시 항속거리를 기준으로 상위 7개 에피소드의 Transition을 유지함으로써 학습 초기 수렴을 가속화하고 중후반 안정성을 높였다. 상위 데이터만 유지할 경우 버퍼 분포가 고정될 수 있으므로 최신 에피소드 1개의 Transition을 함께 포함하여 데이터가 갱신되도록 구성하였다. Multi-buffer replay를 통한 경험 저장 및 샘플링 과정을 Fig. 6에 나타내었다.
Structural improvements for stabilizing reinforcement learning training
50 epoch마다 모델 파라미터와 Optimizer 상태를 저장하는 Checkpoint를 구성하여 학습의 중단 및 재개와 설정 변경 시점을 관리하였다. 학습 로그의 손실 지표와 정책 확률성을 모니터링하며 엔트로피 계수 α를 수동 조정하였고, 손실 변동이 확대되는 경우 α를 낮추어 탐험 강도를 완화하였으며, 성능 개선이 정체되는 경우 α를 높여 추가 탐험을 유도하였다. 그러나 정책 기반 탐험만으로는 특정 행동범위에 고착되는 현상이 반복되었고, Replay buffer 내 제한된 패턴의 데이터만 누적되는 문제가 확인되었다. 이를 보완하기 위해 Epsilon-greedy 구조를 추가하여 정책과 독립적인 무작위 행동을 선택하도록 하였다. 초기에는 Epsilon 값을 높게 설정하여 행동 다양성을 확보하였으며, 학습이 진행됨에 따라 점진적으로 감소시켜 정책 기반 행동의 비중을 확대하였다.
3.5 학습 결과 분석
학습된 정책의 수렴 특성은 Epoch 단위로 저장된 항속거리와 보상 값을 중심으로 분석하였다. 두 지표는 학습 진행에 따른 정책 성능의 변화와 수렴 경향을 평가하는 자료로 활용하였으며, 학습 흐름을 보조적으로 확인하기 위해 Critic loss와 Policy loss, target q 값 등의 학습 지표도 함께 모니터링하였다. 경험 수집을 위한 Warm-up 구간이 종료된 이후 951 epoch부터 파라미터 업데이트를 수행하도록 설정하였으며, Fig. 7은 해당 학습 과정에서의 지표 변화를 나타낸다.
Learning curves of average reward and driving range over epochs
Fig. 7에 나타난 것처럼 951 epoch 직후에는 탐험 중심 정책이 유지되어 항속거리와 보상 값의 변동 폭이 크게 나타났고, Critic loss와 Target q 값도 비교적 큰 범위에서 변동하는 경향을 보였다. 이후 Epoch가 증가함에 따라 항속거리와 보상 값은 점진적으로 증가하였고, 일정 시점 이후에는 변동 폭이 감소하며 비교적 안정된 범위에서 유지되는 수렴 특성이 확인되었다. 정책 적용 시 비정상 거동 여부를 확인하기 위해 CarSim 환경에서 차량 속도 추종 특성을 검토하였다. 정책 기반 제어 입력을 적용한 결과 평균 속도 오차는 약 0.5 km/h 이하, 최대 오차는 1.0 km/h 이하에서 유지되었으며, 특이한 응답이나 과도한 변동은 관찰되지 않았다. 항속거리와 보상 값의 수렴 경향과 학습 지표 변화, 그리고 CarSim 환경에서의 속도 추종 결과를 종합하여 정책이 안정적으로 수렴한 것으로 판단하였으며, 이를 기준으로 학습을 종료하였다.
강화학습 기반 주행전략의 일반화 성능을 확인하기 위해 학습에 사용된 UDDS–HWFET 주행 사이클 외에 LA92, WHVC, IM240의 외부 표준 주행 사이클을 적용하여 항속거리를 평가하였다. 성능 비교 대상은 두 종류의 rule-based 전략이며, 각 전략의 구성은 Table 6에 정리하였다.
Configuration of rule-based strategies
두 Rule-based 전략은 SOC 임계값 기반 Charge-sustaining 운전 모드를 공통으로 적용하였으며,5) 전륜 모터의 발전 기능은 SOC 하한 0.40에서 활성화되고 상한 0.42에서 비활성화되도록 설정하였다. 임계값(0.40, 0.42)은 학습 SOC 운용 범위(0.395–0.455) 내에서 충전 등가저항 맵을 기준으로 SOC 0.40–0.42 구간의 등가저항이 상대적으로 낮게 나타나는 특성을 반영하여 선정하였다. 전후륜 토크 분배 방식은 두 가지로 구분하였으며, 전략 A는 전/후륜 수직하중 비율에 따라 토크를 분배하는 방식이고,23) 전략 B는 차량 속도와 전체 요구 토크에 따른 모터 효율 특성을 반영해 에너지 소비를 최소화하도록 구성된 Lookup table 방식이다.24) 주행 사이클별 항속거리 비교 결과는 Fig. 8과 Fig. 9에 정리하였다.
Driving range comparison in driving cycles [km]
Improvement rates of RL compared to A and B (%)
강화학습 전략은 학습에 사용된 UDDS–HWFET 주행 사이클뿐만 아니라 LA92, WHVC, IM240의 외부 표준 주행 사이클에서도 두 Rule-based 전략보다 높은 항속거리를 보였다. 특히 LA92와 IM240은 가감속과 부하 변동이 큰 사이클로, 동일한 구동 요구에서도 전후륜 토크 분배와 발전 운용에 따른 모터 효율 손실 차이가 커졌고, 이에 따라 강화학습 전략과 Rule-based 전략 간 항속거리 차이가 UDDS–HWFET와 WHVC보다 더 크게 나타났다.
3.6 학습된 전략의 특성 분석
전륜 모터의 발전 운용 방식(Generation operation)과 전후륜 토크 분배 방식(Torque distribution)은 상호 연관되어 강화학습 전략의 항속거리 향상 요인을 요소별로 나누어 해석하기 어렵기 때문에, 발전 운용 방식(강화학습 기반 발전, SOC 기반 정적 발전)과 토크 분배 방식(강화학습 기반 분배, 전/후륜 수직하중 비율에 따른 토크 분배,23) 차량 속도와 전체 요구 토크에 따른 전/후 모터 효율 특성을 반영해 에너지 소비를 최소화하도록 사전에 도출된 Lookup table을 활용한 효율맵 기반 분배24))을 교차 조합한 6개 전략을 구성하여 학습 시나리오(UDDS–HWFET)에서 비교 분석하였으며, 각 전략의 구성은 Table 7에 정리하였다.
Strategy definition for torque distribution and generation operation
전략별 모터 효율 손실과 항속거리는 항속거리가 긴 순서로 Fig. 10과 Fig. 11에 정리하였다. 모터 효율 손실은 간단히 모터의 효율이 100 %가 아니기 때문에 발생하는 손실을 의미한다. C2와 D2를 제외한 전략은 모터 효율 손실이 작을수록 항속거리가 길게 나타났으며, C2와 D2는 D2의 모터 효율 손실이 더 작았지만 두 전략 간 차이가 근소하여 배터리 저항 손실을 포함한 전체 손실이 더 낮은 C2가 더 긴 항속거리를 보였다.
Driving range comparison across strategies
Total motor loss comparison across strategies
모터 효율 손실을 발전 운용 관점에서 구간별로 확인하기 위해, 각 전략을 발전 구간(Generation)과 비발전 구간(Non-generation)으로 구분하여 구간별 및 전체 모터 효율 손실(Efficiency-based motor loss)을 Fig. 12에 나타내었다.
Efficiency-based motor loss energy for each strategy
Fig. 12에서 강화학습 기반 전략은 발전 구간에서는 SOC 기반 정적 발전보다 손실이 크게 나타났으나, 비발전 구간에서는 손실이 작게 나타났고, 이러한 구간별 차이가 합산되면서 Fig. 11의 전체 손실로 이어졌음을 확인할 수 있다. 다만 Fig. 12는 발전 구간과 비발전 구간의 손실을 구간별로 합산한 결과이므로, 강화학습이 어느 시점에서 발전을 선택했는 지와 해당 시점의 손실 특성을 직접 확인하기는 어렵다. 이에 동일 시점에서 발전 수행 여부에 따른 모터 효율 손실(Efficiency-based motor loss) 차이를 비교하여 발전 수행 시점의 특성을 분석하였다.
Fig. 12의 발전을 수행하지 않은(Non-generation) 구간에서 전후륜 토크 분배 방식에 따른 모터 효율 손실(Efficiency-based motor loss)을 비교하면, RL distribution이 Efficiency-map distribution보다 큰 손실을 보였고 Vertical-load distribution은 세 방식 중 가장 큰 손실을 보였다. 이러한 결과는 전후륜 토크 분배는 요구 구동 조건과 모터 효율맵이 주어질 경우 동일 시점의 순간 효율(모터 효율 손실 최소) 기준에서 최적 분배비가 비교적 명확하게 결정됨을 보여준다. 반면 발전 운용은 최소 유지 시간(60 s) 제약이 존재하고 SOC를 포함한 상태 변수 변화가 이후 구간의 보상에 영향을 미칠 수 있으므로, 동일 시점의 순간 손실만으로 발전 운용의 타당성을 판단하기 어렵다. 이에 동일 시점에서 발전 수행 여부에 따른 모터 효율 손실 차이를 비교하기 위해 Fig. 13을 구성하였다.
Loss-based motor-operation windows and RL-based generation behavior over the driving cycle
첫 번째 그래프는 주행 사이클을 나타내고, 두 번째 및 세 번째 그래프는 발전 수행 시 최소 유지 시간(60 s)과 전륜 토크가 0으로 제한되어 후륜 단독 구동이 이루어지는 조건을 반영하여, 효율맵 기반 최적 토크 분배 구동 대비 모터 효율 손실 차이의 크기를 시간축에 따라 색으로 표시한 결과이다. 파란색 계열은 손실 차이가 작은 구간(진할수록 더 작음), 빨간색 계열은 손실 차이가 큰 구간(진할수록 더 큼)을 의미한다. 마지막 그래프에는 강화학습 기반 발전에서 실제 발전이 수행된 시점을 표시하여, 손실 차이 분포와 발전 시점의 관계를 확인하였다. 손실 차이 분포와 발전 수행 시점을 비교한 결과, 발전이 손실 차이가 작은 구간에만 집중되어 나타난 것은 아니었다. 손실 차이를 기준으로 전체 시점을 하위 20 % 구간(Low-density)과 상위 20 % 구간(High-density)으로 구분한 뒤 각 구간에서의 발전 비율을 계산하면, Low-density 구간은 7.7 %로 낮게 나타났다. High-density 구간은 20.3 %였으나, 손실 차이가 뚜렷하게 상승하는 일부 구간에서는 발전이 거의 나타나지 않았다. 다만 Fig. 13의 비교는 동일 시점의 손실 차이와 발전 시점의 관계를 시각적으로 확인한 결과이므로, 발전 수행 여부가 이후 구간의 보상에 미치는 영향까지 직접 판단하기는 어렵다. 이에 상태–행동 가치(q-value)를 이용하여 Low-density와 High-density 구간에서 발전 수행 여부에 따른 장기 보상 차이를 정량적으로 분석하였다.18,19)
Table 8과 Table 9는 Low-density와 High-density 구간에서 실제 발전 수행 여부에 따라 시점을 Generation과 Non-generation으로 구분하고, Low-density generation, Low-density Non-generation, High-density generation, High-density non-generation의 네 가지 경우에 대한 평균 q-value를 정리한 결과이다. 여기서 RL policy는 정책이 선택한 행동에 대응하는 q-value를 의미하며, Forced generation과 Forced non-generation은 동일 상태에서 발전 수행 여부를 각각 강제했을 때의 q-value를 의미한다. 이때 제어 입력은 연속값이며 발전 운용에는 최소 유지 시간(60 s) 제약이 적용되므로, RL policy와 Forced 조건의 q-value는 서로 다르게 나타날 수 있다.
Mean q-values (Low-density)
Q-value difference (Low-density)
Mean q-values (High-density)
Q-value difference (High-density)
Low-density 구간에서는 RL policy가 발전을 수행한 시점(Low-density generation)과 수행하지 않은 시점(Low-density non-generation)의 Mean q-value 차이가 크지 않게 나타났다. Forced generation과 Forced non-generation에서도 유사한 수준의 q-value가 관찰되어, 발전 수행 여부에 따른 장기 보상 차이가 제한적인 것으로 나타났다. 이는 손실 차이가 작은 구간에서는 발전 수행 여부가 이후 구간의 보상에 미치는 영향이 상대적으로 크지 않음을 의미한다. 반면 High-density 구간에서는 발전 수행 여부에 따른 q-value 특성이 구분되어 나타났다. RL policy가 발전을 수행한 시점(High-density generation)의 Mean q-value는 Forced generation 및 Forced non-generation과 큰 차이를 보이지 않았다. 그러나 RL policy가 발전을 수행하지 않은 시점(High-density non-generation)에서는 RL policy의 Mean q-value가 Forced generation 및 Forced non-generation 대비 더 높게 나타났다. 이는 손실 차이가 크게 증가하는 일부 구간에서 발전을 강제할 경우 장기 보상이 불리해 질 수 있음을 의미한다. 이러한 결과는 강화학습 기반 발전 운용이 동일 시점의 순간 손실 최소화보다는, 손실 차이가 크게 증가하는 일부 구간을 회피하는 방향으로 장기 보상을 고려하여 결정되었음을 보여준다.
3.7 하이브리드 전략 설계 및 성능 검증
3.6절의 분석 결과, 발전 제어에서는 강화학습 기반 전략이 손실이 크게 증가하는 구간을 회피하면서 장기 보상 관점에서 유리한 결과를 보였다. 반면 전후륜 토크 분배의 경우, 요구 구동 조건과 전/후 모터 효율맵이 주어졌을 때, 동일 시점의 순간 효율 기준으로 최적 분배비가 명확히 결정되기 때문에 Efficiency-map distribution이 가장 낮은 모터 효율 손실을 나타냈다. 이에 발전 제어에는 강화학습 기반 방식을, 토크 분배에는 Efficiency-map distribution을 적용하는 하이브리드 전략을 구성하였다. 하이브리드 전략은 학습 시나리오와 외부 표준 주행 사이클(LA92, WHVC, IM240)을 대상으로 평가하였다. 학습 사이클에서는 강화학습 기반 전략 대비 항속거리가 소폭 증가하였으며, 세 외부 사이클에서도 모두 주행거리 향상이 확인되었다. 이를 통해 발전 시점과 토크 분배 방식에서 각각 확인된 장점을 결합함으로써 전체 손실을 추가적으로 저감할 수 있음을 확인하였다.
Table 10의 결과를 좀 더 제어 전략간 차이를 비교하기 위해 학습에 사용되지 않은 주행 사이클인 LA92에서 C1, D1, E2 전략의 배터리 SOC, 발전 수행 여부, 그리고 모터 효율 손실(Efficiency-based motor loss)를 Fig. 14에 나타냈다.
Driving range comparison between RL(C1) and Hybrid(D1) strategies [km]
Time histories of battery SOC, generation operation, and efficiency-based motor loss in the LA92 driving cycle
발전 운용 관점에서 C1과 D1은 모두 강화학습 기반 발전 전략을 적용하므로 전체적인 발전 운용 경향은 유사하게 나타났다. 다만 전후륜 토크 분배 방식의 차이로 인해 주행 중 상태 변수 변화가 달라졌고, 이에 따라 일부 구간에서는 발전 수행 시점에도 차이가 나타났다. 반면 E2는 SOC 기반 정적 발전 전략을 적용하므로 C1 및 D1과는 구분되는 발전 운용 경향을 보였으며, 이러한 차이는 배터리 SOC 변화 양상에도 반영되었다. 토크 분배 측면에서는 C1과 D1이 유사한 손실 변화 경향을 보였으나, D1이 더 낮은 손실을 보여주었다. 이는 앞서 분석한 바와 같이 효율맵 기반 토크 분배는 각 주행 조건에서 최적 분배비가 비교적 명확하게 결정되는 반면, 강화학습 기반 토크 분배는 학습 과정에서 형성된 정책을 적용하는 방식이므로 모든 조건에서 최적 분배를 보장하기 어렵기 때문으로 해석된다. 따라서 Fig. 14는 미학습 주행 사이클에서도 발전 운용 방식과 토크 분배 방식의 차이가 손실 및 SOC 변화에 반영됨을 보여주며, 이는 Table 10에서 확인된 전략 간 항속거리 차이와 일관된 경향으로 해석할 수 있다.
4. 결 론
본 연구에서는 전륜 모터가 발전 기능과 구동 기능을 병행하고 후륜 모터가 주 구동을 담당하는 2모터 기반 EREV 시스템을 대상으로, 전륜 모터의 발전 기능 수행 여부와 전후륜 토크 분배를 통합적으로 고려한 강화학습 기반 주행 전략을 설계하였다. CarSim–Python 연동 환경을 구축하여 발전 시점 결정과 전후륜 토크 분배 방식이 모터 효율 손실 및 항속거리에 미치는 영향을 정량적으로 분석하였다. 분석 결과, 전륜 모터의 발전 제어에서는 강화학습 기반 제어가 손실이 큰 시점을 회피하는 방식으로 동작하여 SOC 기반 정적 방식보다 우수한 결과를 보였으며, 반면 전후륜 토크 분배에서는 효율맵 기반 분배가 강화학습 기반 분배보다 더 낮은 모터 효율 손실을 나타냈다. 이를 통해, 발전 제어에는 강화학습 기반 방식이, 전후륜 토크 분배에는 실시간 효율맵 기반 분배 방식이 각각 유리함을 확인하였다. 이러한 결과를 바탕으로, 발전 제어에는 강화학습 기반 방식을, 전후륜 토크 분배에는 효율맵 기반 방식을 적용한 하이브리드 전략을 구성하였다. 평가 결과, 학습 시나리오뿐만 아니라 LA92, WHVC, IM240의 미학습 외부 주행 사이클에서도 강화학습 기반 전략 대비 항속거리가 모두 증가하여, 두 제어 요소의 장점을 결합한 방식이 전체 손실 저감에 효과적임을 확인하였다. 향후 연구에서는 전후륜 토크 분배 학습 성능을 향상시키기 위한 보상 구조 개선, 외부 주행 사이클 기반의 추가 학습을 통한 정책 일반화 강화, 발전 기능 최소 유지 시간과 SOC 기반 제약의 동적 조정을 위한 RL 구조 확장 등을 수행하여, 다양한 운전 환경에서의 실시간 통합 제어 성능을 확보하는 방향으로 연구를 확장할 예정이다. 한편, DP(Dynamic Programming) 기반 글로벌 최적해 탐색 추가 연구를 통해 제안 제어 전략의 최적성 수준도 명확히 정량적으로 검증해 볼 예정이다.
Acknowledgments
이 연구는 2026년도 산업통상자원부 및 한국산업기술기획평가원(KEIT) 연구비 지원에 의한 연구임(‘RS-2024-00432266’). 이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2026-25482012).
References
- International Energy Agency, Global EV Outlook 2025, IEA, Paris, 2025.
- C. Shen, P. Slowik and A. Beach, “Investigating the U.S. Battery Supply Chain and Its Impact on Electric Vehicle Costs Through 2032,” International Council on Clean Transportation, Washington, D.C., pp.1-49, 2024.
- M. Nicholas, D. Hall and N. Lutsey, “Quantifying the Electric Vehicle Charging Infrastructure Gap Across U.S. Markets,” International Council on Clean Transportation, Washington, D.C., pp.1-39, 2019.
- International Energy Agency, Global EV Outlook 2023, IEA, Paris, pp.1-142, 2023.
-
B. Xiao, J. Liu and D. Wang, “A Review of Pivotal Energy Management Strategies for Extended-Range Electric Vehicles,” Renewable and Sustainable Energy Reviews, Vol.149, Article 111194, 2021.
[https://doi.org/10.1016/j.rser.2021.111194]
- J. Kim, M. Kim, S. Hong, Y. Park and W. Lim, “A Study on the Power Distribution Control Strategy for All-Wheel-Drive Range-Extended Electric Vehicles,” Transactions of KSAE, Vol.24, No.6, pp.640-648, 2016.
- M. Kim, J. Kim, S. Hong, Y. Park and W. Lim, “A Study on Modeling and Energy Management Strategy of Powertrain for All-Wheel-Drive Range-Extended Electric Vehicles,” Transactions of KSAE, Vol.25, No.1, pp.88-96, 2017.
- S. Yang, W. Yin, G. Huang, W. Li and W. Wu, “Systematic Review of Extended-Range Electric Vehicle Technologies,” World Electric Vehicle Journal, Vol.13, No.12, Article 283, 2022.
-
C. T. Nguyen, P. D. Walker and N. Zhang, “Shifting Strategy and Energy Management of a Two-Motor Drive Powertrain for Extended-Range Electric Buses,” Mechanism and Machine Theory, Vol.153, Article 103966, 2020.
[https://doi.org/10.1016/j.mechmachtheory.2020.103966]
- Hyundai Motor Company, Hyundai Motor Unveils New “Hyundai Way” Strategy and Outlines Mid- to Long-Term Goals at 2024 CEO Investor Day, https://www.hyundainews.com/assets/documents/original/63301-PressReleaseHyundaiMotor2024CEOInvestorDay.pdf, , 2024.
-
C. C. Chan, A. Bouscayrol and K. Chen, “Electric, Hybrid, and Fuel-Cell Vehicles: Architectures and Modeling,” IEEE Transactions on Vehicular Technology, Vol.59, No.2, pp.589-598, 2010.
[https://doi.org/10.1109/TVT.2009.2033605]
-
M. Ehsani, Y. Gao, S. Longo and K. Ebrahimi, Modern Electric, Hybrid Electric, and Fuel Cell Vehicles, 3rd Edn., CRC Press, Boca Raton, pp.1-572, 2018.
[https://doi.org/10.1201/9781420054002]
-
A. Sciarretta and L. Guzzella, “Control of Hybrid Electric Vehicles,” IEEE Control Systems Magazine, Vol.27, No.2, pp.60-70, 2007.
[https://doi.org/10.1109/MCS.2007.338280]
- A. Sciarretta and L. Guzzella, “Energy Management of Hybrid Electric Vehicles,” IEEE Control Systems Magazine, Vol.34, No.1, pp.37-62, 2014.
-
G. Paganelli, S. Delprat, T. M. Guerra, J. Rimaux and J. J. Santin, “Equivalent Consumption Minimization Strategy for Parallel Hybrid Powertrains,” IEEE Transactions on Vehicular Technology, Vol.51, No.4, pp.686-697, 2002.
[https://doi.org/10.1109/VTC.2002.1002989]
-
A. Sciarretta, M. Back and L. Guzzella, “Optimal Control of Parallel Hybrid Electric Vehicles,” IEEE Transactions on Control Systems Technology, Vol.12, No.3, pp.352-363, 2004.
[https://doi.org/10.1109/TCST.2004.824312]
-
S. Onori, L. Serrao and G. Rizzoni, Hybrid Electric Vehicles: Energy Management Strategies, Springer, London, 2016.
[https://doi.org/10.1007/978-1-4471-6781-5]
- R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, 2nd Edn., MIT Press, Cambridge, pp.1-552, 2018.
-
X. Hu, T. Liu, X. Qi and M. Barth, “Reinforcement Learning for Hybrid and Plug-In Hybrid Electric Vehicle Energy Management: Recent Advances and Prospects,” IEEE Industrial Electronics Magazine, Vol.13, No.3, pp.16-25, 2019.
[https://doi.org/10.1109/MIE.2019.2913015]
-
C. E. Nino-Baron, A. R. Tariq, G. Zhu and E. G. Strangas, “Trajectory Optimization for the Engine–Generator Operation of a Series Hybrid Electric Vehicle,” IEEE Transactions on Vehicular Technology, Vol.60, No.6, pp.2438-2447, 2011.
[https://doi.org/10.1109/TVT.2011.2141695]
- L. Serrao, S. Onori and G. Rizzoni, “A Comparative Analysis of Energy Management Strategies for Hybrid Electric Vehicles,” IEEE Transactions on Control Systems Technology, Vol.19, No.6, pp.1555-1565, 2011.
- M. Aoki, pycarsimlib: Python Interface for CarSim, https://github.com/MizuhoAOKI/pycarsimlib, , 2026.
-
L. De Novellis, A. Sorniotti and P. Gruber, “Optimal Wheel Torque Distribution for a Four-Wheel-Drive Fully Electric Vehicle,” SAE International Journal of Passenger Cars - Mechanical Systems, Vol.6, No.1, pp.128-136, 2013.
[https://doi.org/10.4271/2013-01-0673]
-
K. Choi, J. Kim, W. Cho and S. H. You, “Tire Force Estimation Based on Vehicle Motion and Its Experimental Validation,” Transactions of KSAE, Vol.31, No.4, pp.323-331, 2023.
[https://doi.org/10.7467/KSAE.2023.31.5.323]