하이브리드 전동화차량의 파워트레인 소음 저감 제어를 통한 음성 인식률 향상 연구

1. 서 론

사람의 목소리를 이용한 음성제어는 음성인식 기술의 획기적인 발전 덕분에 사용성이 매우 향상되었다. 이에 따라 일상생활의 다양한 영역에서 음성제어 기술이 사용되고 있다.^1,2) 그 대표적인 예시로 스마트폰이나 AI스피커를 이용한 검색 및 가전기기를 제어할 수 있는 방법이 있으며, 더 나아가 음성제어를 이용하여 집안의 전등 및 커튼을 제어할 수 있도록 하는 보조 제품들도 합리적인 가격으로 출시되고 있다. 이러한 흐름에 맞춰 차량에도 운전자가 목소리로 차량의 각종 기기를 제어할 수 있는 기능을 제공하고 있다. 현재 차량에 적용된 음성제어 기능은 스티어링 휠에 장착된 컨트롤 키를 눌러 이용할 수 있으며 창문, 선루프, 공조, 열선을 음성으로 제어할 수 있으며 네비게이션의 실시간 길 안내 기능도 사용 가능하다. 하지만, 주행중인 차량에서 음성제어를 사용할 경우 일반적인 음성제어 사용환경과 달리 차량 내/외부에서 다양한 소음이 발생할 가능성이 높다. 이러한 소음으로 인해 음성명령을 오 인식하는 현상이 발생될 수 있으며 음성제어 오동작은 운전자의 주의를 분산시켜 사고를 유발할 수 있는 문제점을 가지고 있다. 이러한 문제점을 해결하기 위한 종래 기술이 다수 개발되었다. 그 예시로 자동차 음성 인터페이스 환경에서 UX 디자인을 개선³⁾하거나 사용자의 발화 의도를 파악하자 하는 연구가 있다.⁴⁾ 또한, 음성인식 성능 향상을 위한 학습데이터 생성 방법⁵⁾ 및 AI 모델 개선연구^6-9)가 활발히 진행중이다. 또한 운전자의 시선을 추적하여 음성인식 성능을 향상하고자 하는 연구¹⁰⁾도 진행되었다. 추가적으로 고급차량을 대상으로 ANC 기능이 적용 중에 있다. 이러한 종래 기술은 음성인식을 보다 정교하게 하기 위한 차량 Software와 Hardware 개선 내용으로 차량에서 발생하는 소음을 근본적으로 줄일 수 없는 한계점을 가지고 있다. 기존 하이브리드 차량의 파워트레인 모드 및 엔진과 구동모터의 운전점 제어 연구의 목적은 주로 연비^11-13) 및 차량의 운전성능^14-17) 향상이었다. 하지만, 최근 SDV 시대가 도래하여 차량 소프트웨어를 통해 운전자와 탑승자가 느낄 수 있는 차량의 상품성을 더 증대하는 것이 더 주요한 추세가 되어 가고 있다. 이러한 예시로 차량의 연비와 운전성능이 일시적으로 제한 하지만, 특정지역(병원, 아파트, 어린이보호구역)에서 전기차모드 주행을 강제하는 그린존 드라이브 기능²⁰⁾이 현대자동차 하이브리드 전동화차량에 양산에 적용되었다. 본 논문에서는 이러한 최신 동향을 반영하여 차량 내 음성제어 사용시 전동화차량의 파워트레인 가변제어를 통한 파워트레인 소음감소 시켜 음성제어의 인식률을 개선하는 것을 목적으로 하였다.

2. 음성인식제어 및 대상차량

음성제어 성능에 중요한 지표는 음성 인식률이다. 음성 인식률은 일반적으로 음성신호(Signal)의 크기와 소음(Noise)의 크기 비율인 SNR(Signal-to-Noise Ratio)에 영향을 받는다.¹⁸⁾

SNR 값이 클수록 WER(Word Error Rates)가 감소하여 인성 인식률이 높아진다.¹⁹⁾ 따라서 동일 음성 시 SNR 값을 높이기 위해서는 주변 소음을 줄여야 한다.

Fig. 1

The correlation of WER-SNR under white noise19)

차량에서 사용하는 음성인식 기능의 음성 인식률에 영향을 주는 주요 소음에는 주행 마찰음과 파워트레인 소음이 있다. 주행 마찰음은 주행도로, 차량 속도, 외부환경으로 주로 유발되며 특정 제어를 통해 가변하기 어려운 요소이다. 본 논문에선 (P)HEV 전동화 차량의 파워트레인 가변제어를 통해 파워트레인 소음을 저감하여 차량에서 사용하는 음성제어의 음성 인식률을 높이고자 한다. 현대자동차의 (P)HEV 전동화차량에 적용하고 있는 TMED 시스템의 파워트레인 모드는 아래 Table 1에서 확인할 수 있듯이 EV, Passive, HEV-Series, HEV-Parallel 4가지 모드가 있다.

Table 1

(P)HEV Power train mode

Fig. 2

Diagram of TMED powertrain

EV 모드는 모터만 사용하는 파워트레인 모드이고 HEV 모드는 모터와 엔진이 모두 사용되는 파워트레인 모드이다. HEV 모드는 엔진 클러치의 결합 여부에 따라 HEV-Series, HEV-Part load 모드로 나뉜다. 파워트레인에서 발생하는 소음의 주요 요인은 엔진 구동 여부와 엔진 구동속도로 볼 수 있다. 따라서 일반적으로 모터만 사용하는 EV모드에서 소음이 가장 작게 발생하고 HEV-Series와 HEV-Part load모드에서는 엔진 구동속도가 낮을 수록 소음이 적게 발생한다.

3. 제어기 설계

본 논문에서는 음성제어 성능향상을 위한 파워트레인 가변제어를 (P)HEV 전동화차량의 HCU 제어기에 구현하였다. HCU에 구현한 음성제어 성능향상을 위한 파워트레인 가변 제어의 순서는 Fig. 3과 같다.

Fig. 3

Control sequence of the proposed control

HCU 제어기는 파워트레인 상위 제어기로 파워트레인 모드, 엔진/모터의 토크와 속도 그리고 변속 전략을 결정한다. Fig. 4에서 확인할 있듯이 ECU와 MCU은 HCU의 목표 토크와 속도에 따라서 엔진과 모터를 제어한다. 또한, TCU은 HCU의 변속 전략을 참고하여 변속 제어를 수행하며 MCA는 HCU 엔진 클러치 Open/Slip/Lock 요청에 따라서 엔진 클러치를 제어한다. 따라서 HCU는 음성제어 동작 시 파워트레인 가변 제어를 구현하기 적합한 제어기이다.

Fig. 4

Cooperative control configuration diagram

4. 차량 시험

앞에서 설명한 음성제어 성능향상을 위한 파워트레인 가변제어 성능을 확인하기 위해 차량 시험을 수행하였다. 3장에서 언급한 설계내용을 HCU Matlab Simulink 모델에 반영하여 HCU Test Software를 개발하여 사용하였다. 시험차량은 기아 니로 하이브리드 차량을 사용하였다. 음성제어에서 사용하는 음성인식 마이크 위치는 운전석 위 천장 앞쪽에 부착되어 있으며 상세 위치는 Fig. 5에서 확인 가능하다.

Fig. 5

The location of the microphone used for voice control21)

정확한 음성신호와 노이즈를 측정을 위해 측정위치는 Fig. 5의 음성인식 마이크 위치로 선정하였으며, 측정장비는 아래 2가지 장비를 사용하였다. 1번을 장비를 이용하여 2번 스마트폰 어플리케이션 기본값을 보정하고 어플리케이션을 통해서 음성신호와 소음을 데이터를 취득하였다.

Fig. 6

Lutron 社 SL-4001, Sound Level meter

Fig. 7

BOSCH 社 iNVH App(version 2.1.1)

보다 정확한 SNR(db) 측정을 위해 음성신호와 주행 상항 별 소음을 따로 측정하였고 음성신호는 일정한 소리의 크기를 내기 위해 음성기능에 주로 사용되는 문구를 음성녹음 후 재생하여 사용하였다. 차량시험은 Table 2에서 확인할 수 있듯이 4가지 상황별로 수행하였다. 시험1과 시험2는 정차 시, 시험3과 시험4는 주행 시 음성기능을 사용하는 경우로 설정하였다. 또한, (P)HEV 전동화 차량에서 고전압배터리의 SOC가 부족하거나 기타 이유로 HEV 모드에서 EV 모드로 천이가 불가능한 경우가 있다. 따라서, 시험1과 시험3은 기존 모드에서 EV모드로 천이 가능한 상황으로 설정하였고, 시험2와 시험4는 EV모드 천이가 불가하여 HEV 모드 제어를 가변 하는 상황으로 설정하였다.

Table 2

Vehicle testing by powertrain mode

정차소음 측정은 주변이 조용한 장소에서 측정하였고 주행소음 측정은 Fig. 8의 남양연구소 선회로 코스를 각 모드 별로 정속 주행(약 60 Kph) 하며 측정하였다.

Fig. 8

Driving course, Hyundai Motor Company Namyang Research Center driving test center turning road

5. 차량시험 결과

5.1 기준 음성 데이터 측정

녹음하여 사용한 음성 문구는 아래 4가지를 사용하였다. 차량시험에서 측정한 녹음 음성 크기는 아래 Table 3에서 확인할 수 있으며 61 dB에서 64 dB 사이 크기였다.

• Voice1) “남양연구소 정문 안내”
• Voice2) “신나는 음악 틀어줘”
• Voice3) “에어컨 켜줘”
• Voice4) “오늘 뉴스 알려줘”

Table 3

dB measurement value for each recorded voice phrase

5.2 주행상황 별 소음 데이터 측정

차량시험을 통해서 각 주행상황 별로 음성제어 전과 후의 소음(Noise) 크기를 측정하였다. 차량시험은 총 4가지를 진행하였다.

5.2.1 차량시험1(정차) - HEV Series → EV

정차 시 엔진 클러치는 Open이고 엔진은 점화 중인 HEV Series 모드의 소음은 60.75 dB이 발생되었다. 이후 운전자가 음성제어 시 HEV Series 모드에서 EV 모드로 천이 되었고 소음은 48.07 dB로 감소되었다.

이러한 결과는 Table 4에 정리하였다. 또한 차량시험에서 발생한 소음의 변화는 Fig. 9에서 확인 가능하다. 음성제어 시작 시점을 표시하기 위하여 박수를 쳐서 구분시점을 표시하였다.

Table 4

HEV/EV noise dB measurements while stop

Fig. 9

HEV/EV noise dB while stop

Fig. 10

HEV/EV noise dB box plot while stop

5.2.2 차량시험2 - 정차/HEV Series → HEV Series(가변)

정차 시 엔진 클러치는 Open이고 엔진은 점화 중인 HEV Series 모드 시 엔진의 rpm을 HCU 제어를 통해서 가변 할 수 있다. 엔진 rpm이 1,400 rpm일 경우 소음은 62.24 dB이었고 음성제어 시 엔진 rpm을 1,100 rpm로 감소시켰을 경우 소음은 53.42 dB로 감소하였다.

Table 5

HEV/HEV (rpm change) noise dB measurements while stop

Fig. 11

HEV/HEV (rpm change) noise dB while stop

Fig. 12

HEV/HEV (rpm change) noise dB box plot while stop

5.2.3 차량시험3 - 주행/HEV Parallel → EV

주행 시 엔진 클러치는 Lock이고 엔진이 점화하여 모터와 엔진 모두 구동력을 발생하는 HEV Parallel 모드의 소음은 72.83 dB이 발생되었다. 음성제어 시 HEV Parallel 모드에서 EV 모드로 천이 되었고 소음은 69.25 dB로 감소되었다. 감소 폭은 정차 시험 대비 적었다. 그 이유는 주행으로 인한 노면 소음과 주행풍이 소음측정 값에 포함되었기 때문으로 판단된다.

Table 6

HEV/EV noise dB measurements while driving

Fig. 13

HEV/EV noise dB while driving

Fig. 14

HEV/EV noise dB box plot while driving

5.2.4 차량시험4 - 주행/HEV Parallel → HEV Parallel(가변)

주행 시 HEV Parallel 모드에서 EV 모드로 천이가 불가능 할 경우 파워트레인에서 발생하는 소음을 줄이는 방법은 고단 변속이 있다. 본 논문에서 사용한 기아 니로 하이브리드 차량은 DCT 변속기가 장착되어 있으며 1단에서 6단까지 변속이 가능하다. 이를 시험하기 위하여 음성제어 전 3단으로 주행 시 소음을 측정하였고 69.3 dB의 소음이 측정되었다. 음성제어 시 단계적으로 4단, 5단, 6단으로 기어를 변속하도록 제어하였고 6단에 도달하였을 때 소음은 68.85 dB이 측정되었다. 앞에서 수행한 파워트레인 모드 천이 대비 효과가 미비 하였다. 또한, 이러한 기어 변속은 주행 시 차량의 구동성능과 승차감을 저하 시킬 수 있다. 따라서 본 연구에서 제안하는 기능을 양산차량에 적용하기 위해서는 구동성능과 승차감 저하를 최소화 할 수 있는 변속 맵 개발이 필요하다.

Table 7

HEV/HEV (Higher Gear) noise dB while driving

Fig. 15

HEV/HEV (Higher Gear) noise dB while driving

Fig. 16

HEV/HEV (Higher Gear) noise dB box plot while driving

5.3 주행상황 별 SNR 분석

차량 시험 별 SNR을 정리한 값은 Table 8과 Table 9에서 확인할 수 있다. SNR 값이 클수록 음성 인식률이 높아진다.¹⁹⁾ 값은 Table 8과 Table 9의 SNR 값은 2장에서 정의된 식 (1), (2)를 기반으로 계산되었다. 음성신호의 크기는 5.1장 Table 3의 평균 값 63.55 dB를 사용하였고 주행상황 별 소음의 크기는 앞장의 차량시험 결과 값을 사용하였다.

Table 8

Noise SNR summary table for vehicle(stopping) test

Table 9

Noise SNR summary table for vehicle test(driving) 3 and 4

6. 결 론

본 연구에서는 전동화 차량의 음성인식 성능향상을 위한 파워트레인 제어를 가변 기능을 개발하고 차량시험을 통해 해당 기능의 성능을 확인하였다. 이는 고가의 마이크로폰 장비나 ANC Hardware 추가 없이 기존 차량에 장착되어 있는 HCU의 Software 변경만을 통해서 음성제어 인식률을 향상 시킬 수 있는 방법이다. 또한, 본 논문에서 연구한 기능은 최신 기술동향을 제시하고 있으며 대한 특허도 출원하였다.²²⁾ 차량시험 결과 정차 중 음성제어를 시도한 경우를 가정한 시험1(12.68 dB ↑)과 시험2(8.82 dB ↑)에서는 가변제어 적용으로 SNR이 크게 향상됨을 확인할 수 있었다. 주행 중 음성제어를 시도한 경우를 가정한 시험3(3.58 dB↑)과 시험4(0.52 dB↑)에서는 가변제어 적용으로 SNR이 향상되었으나, 정차 상황 대비 향상 값이 낮았다. 그 이유는 차량속도60 Kph 이상 주행 시 주행 마찰음이 파워트레인 소음보다 더 주요한 소음 요소가 되기 때문으로 판단된다. 주행 중이 더라도 차량속도가 60 Kph낮은 영역에서는 가변제어 적용 효과가 향상됨을 확인할 수 있었다. 한편 본 논문에서 연구한 파워트레인 가변제어를 통한 소음 저감 기술은 음성제어 인식률을 개선 시켜 차량 상품성 향상 측면에는 도움이 되었다. 하지만, 이러한 파워트레인 가변제어가 차량 주행성능과 연비에 영향을 줄 수 있는 한계점이 있다. 이를 보완하기 위해 파워트레인 가변제어 시 차량주행성능과 연비에 영향을 최소화 할 수 있는 추가적인 연구 및 개발이 필요하다. 향후 아래 항목에 대한 추가 연구가 진행된다면 보다 효과적으로 전동화 차량의 음성제어 기능의 음성 인식률을 개선시키고 차량주행성능과 연비의 영향성을 최소화 할 수 있을 것으로 기대된다.

• 1) 차량시험 환경 다양화(도심/교외/등판/강판)
• 2) 다수의 차량시험을 통한 통계적 분석 수행
• 3) 소음의 크기(dB) 뿐만 아니라 주파수특성 고려
• 4) 파워트레인 가변 제어 시 주행 성능 제한 개선 및 연비 영향 분석

References

• Y. Chen, X. Zhang, M. Wang, J. Liu, and T. Huang, “SoK: A Modularized Approach to Study the Security of Automatic Speech Recognition Systems,” ACM Transactions on Privacy and Security, Vol.25, No.3, 2022. [https://doi.org/10.1145/3510582]
• P. Cheng and U. Roedig, “Personal Voice Assistant Security and Privacy—A Survey,” Proceedings of the IEEE, Vol.110, No.4, April 2022. [https://doi.org/10.1109/JPROC.2022.3153167]
• K. Namkung, “A Study on the In-Vehicle Voice Interaction Structure Considering Implicit Context with Persistence of Conversation,” Journal of the Korea Convergence Society, Vol.12, No.2, pp.179-184, 2021.
• H. Jung, “Analyzing the Correlation Between Factors Affecting Artificial Intelligence Voice Interface in Automobiles,” Proceedings of Fall Conference of ESK, pp.54-57, 2020.
• V. N. Nguyen and H. Holone, “N-Best List Re-Ranking Using Syntactic Score,” International Conference on Control, Automation and Systems, pp.1309-1314, 2016. [https://doi.org/10.1109/ICCAS.2016.7832482]
• C. Oh, M. Kim, K. Park and H. Song, “A Comparative Study on the Performance of Transformer-Based Models for Korean Speech Recognition,” Phonetics and Speech Sciences, Vol.16, No.3, pp.79-86, 2024. [https://doi.org/10.13064/KSSS.2024.16.3.079]
• C. Oh, C. Kim and K. Park, “Building Robust Korean Speech Recognition Model by Fine-Tuning Large Pretrained Model,” Phonetics and Speech Sciences, Vol.15, No.3, pp.75-82, 2023. [https://doi.org/10.13064/KSSS.2023.15.3.075]
• M. W. Koo, “A Korean Speech Recognition Based on Conformer,” The Journal of the Acoustical Society of Korea, Vol.40, No.5, pp.488-495, 2021.
• S. H. Oh, J. H. Park, T. K. Yuk, J. A. Kim and H. Kwon, “Speech Recognition Model Robust to Battlefield Noise,” Journal of the Korea Institute of Information and Communication Engineering, Vol.28, No.6, pp.677-684, 2024. [https://doi.org/10.6109/jkiice.2024.28.6.677]
• J. Chu, J. Kim, Y. Jin, S. Han, S. Kim and C. Yoo, “Web Service Architecture to Improve Vocabulary and Literacy Using AI-Based Gaze Tracking and Voice Recognition Technology,” Proceedings of KIIT Conference, pp.924-928, 2023.
• Y. K. Choi, I. K. Park, D. J. Shin, J. K. Cho and G. J. Park, “The Study of a Development About Fuel-Economy of TMED HEV,” KSAE Spring Conference Proceedings, pp.1781, 2013.
• K. Kim, D. Sung, W. Lim and S. W. Cha, “Determining Driving Mode of Plug-in Hybrid Vehicle for Enhancing Fuel Economy,” KSAE Annual Conference Proceedings, pp.657, 2016.
• D. Lee, J. Jeong, H. Seo and S. Cha, “Optimal Control Strategy of Plug-In HEVs Using Driving Information,” KSAE Annual Conference Proceedings, pp.2762-2769, 2011.
• S. Mun, J. Lee and H. Lee, “Optimization of Power Distribution for Connected Hybrid Vehicles in Consideration of Urban Driving Conditions,” KSAE Annual Conference Proceedings, pp.946-954, 2021.
• S. Choi, D. Hong, D. Lee and J. Bang, “A Development of Shift Quality Control for TMED HEV,” KSAE Annual Conference Proceedings, pp.1166, 2019.
• J. Park and H. Sim, “Drive-Train Jerk Reduction Control for Parallel Hybrid Electric Vehicles,” Transactions of KSAE, Vol.19, No.1, pp.17-24, 2011.
• J. Kim, G. Kim, J. H. Shin and Y. Park, “Plug-in Hybrid Powertrain System with Dual Clutch,” Transactions of KSAE, Vol.26, No.2, pp.167-173, 2018. [https://doi.org/10.7467/KSAE.2018.26.2.167]
• Y. P. Kim and H. Y. Lee, “A Study on Improved Method of Voice Recognition Rate,” The Journal of The Korea Institute of Electronic Communication Sciences, Vol.8, No.1, pp.77-83, 2013. [https://doi.org/10.13067/JKIECS.2013.8.1.077]
• X. Liu and C. C. Bao, “Audio Bandwidth Extension Based on Temporal Smoothing Cepstral Coefficients,” EURASIP Journal on Audio, Speech, and Music Processing, Vol.41, pp.41-46, 2014. [https://doi.org/10.1186/s13636-014-0041-6]
• Hyundai Motors, GreenZone DriveMode, https://www.hyundai.co.kr/story/CONT0000000000010605, , 2024.
• K. Bang, “Apparatus of Voice Recognition, Vehicle and Having the Same, Method of Controlling the Vehicle,” KR101628109B1, South Korea, 2016.
• J. Cho, “Hybrid Vehicle and Method of Supporting Audio Input/Output for the Same,” US20230211771A1, United States, 2021.