Arm NPU 기반 엣지 디바이스를 위한 비전 AI 모델 최적화 및 양자화 파이프라인 구현
Copyright Ⓒ 2026 KSAE / 249-01
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
Real-time object detection and pose estimation are critical components in autonomous driving and edge computing environments. However, although state-of-the-art models like YOLO11 offer high performance, they often fail to fully utilize hardware acceleration due to limited operator support on embedded Neural Processing Units. Accordingly, this paper proposed a hardware-aware optimization pipeline for deploying YOLO11-based object detection and PoseNet-based pose estimation models on the Telechips D5 board, which was equipped with the Arm Ethos-N NPU. We analyzed the Arm Ethos-N Driver Stack Operator Support to identify incompatible layers and applied optimization techniques, such as substituting unsupported operators and restructuring the model graph, to ensure NPU compatibility. Furthermore, an INT8 quantization process was integrated into the pipeline to optimize memory bandwidth and computational efficiency.
Keywords:
YOLO11, PoseNet, Neural processing unit, Hardware-aware optimization, Quantization, Edge AI키워드:
신경망 처리 장치, 하드웨어 인지 최적화, 양자화, 엣지 인공지능1. 서 론
최근 자동차 산업에서는 다양한 AI 모델을 활용한 자율주행 기술 개발이 활발히 진행되고 있다. 특히 복잡한 주행 환경에서의 장애물 회피 및 충돌 방지 시스템에서는 비전 기반 인식 기술을 통해 차량의 주행 안전성을 확보하기 위한 노력1)이 지속되고 있다.
현재 많은 자율주행 시스템은 클라우드 기반 처리 방식을 채택하고 있으나, 이는 네트워크 지연(Latency), 정보 보안 취약성, 그리고 통신 비용 측면에서 명확한 한계를 가지고 있다. 이러한 문제를 해결하기 위해 최신 AI 모델을 차량 내부의 임베디드 시스템에서 직접 구동하는 온디바이스 방식에 대한 연구가 활발히 진행되고 있다.
본 연구에서는 실험을 위해 Telechips의 차세대 차량용 SoC(System-on-Chip)인 D5 플랫폼을 활용하였다. D5는 IVI(In-Vehicle Infotainment) 및 자율주행 보조 시스템을 위해 설계된 고능성 이기종 컴퓨팅 플랫폼으로, 특히 하드웨어 기반의 Hypervisorless 가상화 기능을 통해 소프트웨어 오버헤드 없이 복수의 독립적인 OS를 안정적으로 구동할 수 있는 아키텍처를 갖추고 있다.
해당 보드는 고성능 연산을 담당하는 Cortex-A7x 메인 코어와 저전력 고효율 처리에 최적화된 Cortex-A5x 코어가 결합된 Arm의 big.LITTLE 멀티코어 프로세서 구조를 채택하고 있다. 이러한 구조를 통해 전력 소비를 최소화하는 유연한 컴퓨팅 자원 할당이 가능하다. 특히 탑재된 Ethos-N NPU는 딥러닝 추론을 하드웨어적으로 가속화하여 8 TOPS 수준의 추론 성능을 제공하고, 엣지 환경에서 실시간으로 데이터를 처리할 수 있어 비전 기반 온디바이스 AI 시스템 구현에 최적의 환경을 제공한다.
실험에서는 차량 안전을 위한 통합 솔루션 구축을 목표로 한다. 이를 위해 외부 위험 요소를 지연 없이 포착하기 위해 실시간성이 보장되는 객체 탐지 모델은 YOLO112)를 Telechips D53)(Fig. 1) 상에 구현하였다. 그리고 사람의 포즈 추정을 통해 신체 특장점을 효과적으로 추적할 수 있는 PoseNet4)을 도입하여, 작업자 안전 모니터링 등 안전 시스템으로서의 활용 가능성을 입증하였다.
Telechips D5
딥러닝 기반 비전 모델은 보행자 및 장애물 탐지, 신호등 인식 등 자율주행 시스템의 핵심 기능을 수행하는데 널리 활용되고 있다.5) 그러나 현재 대부분의 비전 모델은 GPU 기반의 병렬 연산 구조로 설계되어 있어, 임베디드 반도체에 주로 탑재되는 NPU(Neural Processing Unit)에 직접 적용하기 어렵다. 특히 Arm Ethos-N6)과 같은 NPU는 특정 연산에 최적화된 설계 구조를 가지고 있어, GPU 중심으로 설계된 모델을 그대로 이식할 경우 연산 호환성 문제와 심각한 성능 저하가 발생한다.
본 논문에서는 최신 비전 AI 모델을 Arm Ethos-N NPU 기반 임베디드 시스템에 효율적으로 배포하기 위한 모델 최적화 방법을 제시한다. Arm Ethos-N NPU6)는 8-bit 정수 양자화 CNN을 위해 설계된 가속기로, 공식 드라이버에서는 YOLOv3를 포함한 제한된 네트워크 아키텍처만을 지원한다. 이러한 제약을 극복하고, 최신 비전 모델인 YOLO11과 PoseNet을 Telechips D5 플랫폼의 Arm Ethos-N NPU에서 실시간 추론이 가능하도록 최적화하는 방법론을 제안한다.
구체적으로, Arm Ethos-N NPU의 연산자 지원 제약조건3)을 체계적으로 분석하여 YOLO11 및 PoseNet 아키텍처의 비호환 레이어를 식별하고, 이를 Arm Ethos-N NPU에 최적화된 연산으로 대체하면서도 모델의 검출 및 추정 정확도 손실을 최소화하는 방안을 제시한다. 또한, 임베디드 시스템의 제한된 메모리 및 연산 자원을 고려하여 QAT(Quantization Aware Training)8,9)와 PTQ(Post Training Quantization)8,10) 기법을 적절히 활용하여 INT8 양자화를 적용함으로써 모델의 경량화와 추론 속도 향상을 동시에 달성한다. 본 연구는 객체 탐지(YOLO112))와 자세 추정(PoseNet4))이라는 서로 다른 비전 태스크를 Telechips D53) 플랫폼에서 구현함으로써, 최신 비전 AI 모델의 임베디드 시스템 배포 가능성을 검증했다.
2. 관련 연구
2.1 YOLO
YOLO11)는 객체 탐지를 단일 회귀 문제로 정의하여 실시간 처리를 가능하게 하도록 설계된 객체 탐지 모델이다. 기존의 Region proposal 기반 방법들과 달리 전체 이미지를 한 번의 순전파로 처리하여 45 FPS의 속도를 달성했다. 이후 YOLOv2,12) YOLOv313) 등으로 발전하는 과정에서 Anchor box, multi-scale detection 등의 기법이 추가되어 정확도와 속도가 지속적으로 개선되어 왔다. 본 연구에서는 YOLO1114)을 최적화하여 임베디드 보드에서 실시간 구동이 가능하도록 설계하는 방식에 대해 제안하고자 한다.
2.2 경량신경망 구조
딥러닝 모델의 임베디드 배포를 위해서는 효율적인 네트워크 설계가 핵심적이다. MobileNetv115)은 Depthwise separable convolution을 도입하여 표준 합성곱 대비 연산량이 획기적으로 감소시켰다. 이 구조는 Depthwise convolution과 Pointwise convolution으로 분리하여 파라미터 수와 연산량을 대폭 줄이면서도 정확도를 유지가 가능하다. Width multiplier와 Resolution multiplier를 통해 모델 크기와 정확도 간 Trade-off를 유연하게 조절할 수 있어 다양한 하드웨어 환경에 적용 가능한 특징을 가지고 있다. 이러한 특징을 PoseNet에 적용하여 최적화를 진행하고자 한다.
2.3 양자화 기법
신경망 양자화는 모델의 가중치와 활성화를 저정밀도로 변환하여 메모리와 연산량을 감소시키는 기법으로 온디바이스 AI 개발에 필수적으로 사용되는 기법이다. 낮은 정밀도 변환에 있어 정확도 손실을 최소화하기 위한 방법에 대한 연구16)도 지속적으로 진행되어 왔다. 그 중 QAT8,9)는 학습 과정에서 양자화 효과를 시뮬레이션하여 모델이 양자화 오차에 적응하도록 한다. Forward pass에서 Fake quantization을 적용하고 Straight-Through Estimator를 사용하여 역전파를 수행한다. Jacob 등16)은 Integer-only arithmetic을 위한 양자화 스킴을 제안하여 MobileNet에서 INT8 양자화로도 Floating-point 수준의 정확도를 달성했다.
PTQ8,10)는 사전 학습된 모델을 재학습 없이 양자화하는 경량 기법이다. 소량의 Calibration 데이터로 활성화 통계를 수집하여 양자화 파라미터를 결정한다. PTQ는 학습 자원이 제한적이거나 빠른 배포가 필요한 경우 유용하나, 저비트(≤4-bit) 양자화에서는 QAT 대비 정확도 손실이 크다. 본 연구에서는 PoseNet의 경우 PTQ를 활용하고 YOLO11의 경우 QAT를 활용해 정확도 손실을 최소화하는 방식을 연구하였다.
2.4 모델 배포 프레임워크
TensorFlow Lite17)는 모바일 및 임베디드 기기를 위한 경량화 프레임워크로 FlatBuffers 기반의 효율적인 모델 표현을 사용하여 작은 바이너리 크기와 빠른 추론 속도를 제공한다. 양자화 하드웨어 가속, 메타 데이터 지원을 통해 모바일 환경에 최적화되어 있다.
TVM(Tensor Virtual Machine)18)은 다양한 하드웨어 백엔드에서 딥러닝 워크로드의 성능 이식성을 제공하는 End-to-end 최적화 컴파일러이다. 그래프 레벨과 연산자 레벨 최적화를 통해 고수준 Operator fusion, 임의 하드웨어 Primitive로의 매핑, 메모리 레이턴시 은닉 등을 수행한다. 머신러닝 기반 비용 모델링을 통한 자동 최적화로 수작업 최적화 라이브러리와 비슷한 성능을 ARM CPU, 모바일 GPU 등 다양한 플랫폼에서 달성 가능하다. 두 가지의 배포 프레임워크를 활용한 최신 비전 모델을 임베디드 보드에 배포 가능한 최적화 방법을 연구에서 제안한다.
3. 방법론
3.1 모델 구조
최신 비전 모델의 객체 탐지 및 Segmentation 모델들은 대부분 Backbone-Neck-Head의 3단 구조로 설계되어 있다. 그러나 임베디드 환경에서는 이러한 모델을 온디바이스로 배포하기 위해서는 NPU의 하드웨어 특성을 고려한 모델 구조 최적화가 필수적이다.
NPU는 MAC(Multiply-Accumulate) 유닛 기반의 고정 회로 구조로 설계되어 있어, Softmax, Sigmoid, Exponential과 같은 비선형 연산의 하드웨어 가속이 어렵다. 이러한 연산들은 주로 Detection Head에 집중되어 있어 전체 모델의 NPU 배포를 어렵게 하는 주요 원인으로 작용한다.
기존 연구에서는 소프트웨어적 해결 방식으로, CPU fallback 방식은 지원되지 않는 연산자를 CPU에서 처리하는 방법이나, 이는 실시간 추론 성능을 저하시켜고 TVM 컴파일 시 스케줄링 복잡도를 증가시킨다. 다른 방식으로는 하드웨어적인 해결 방식으로, LUT(Look-Up Table) 기반 근사 방식은 Softmax 등을 테이블 참조로 대체하는 방법이다. 이는 하드웨어 설계 당시에 적용해야 하는 기법으로 현재 연구에 적용하기에는 불가능했다.
본 연구에서는 Backbone-Neck-Head 구조의 비전 모델에 대해 다음과 같은 아키텍처(Fig. 2)를 제안한다. Backbone과 Neck은 NPU 지원 연산자로만 구성하여 완전한 하드웨어 가속을 달성하고, NPU 비지원 연산자가 집중된 Head만 CPU에서 처리하도록 분리한다. 이는 전체 연산량의 대부분을 차지하는 Feature extraction과 Feature fusion을 NPU에서 가속하면서도, 상대적으로 연산량이 적은 Detection/Segmentation Head에서는 CPU의 유연성을 활용하는 하이브리드 접근 방식이다.
Architecture method
제안하는 방법은 Backbone–Neck–Head 구조를 가진 모든 비전 모델에 적용 가능한 범용적 프레임워크로 활용 가능하고, 기존 모델 구조를 크게 변경하지 않고 하드웨어 특성에 맞춘 최적화가 가능하다. 해당 방식은 특히 NPU와 CPU의 강점을 모두 활용하여 실시간성과 정확도를 동시에 확보할 수 있다. 이러한 특성으로 인해 제안 방법은 리소스 제약적인 엣지 디바이스에서의 온디바이스 AI 배포에 효과적으로 활용될 수 있다.
3.2 Network 최적화
본 절에서는 Telechips D5 보드에 탑재된 Arm Ethos-N NPU6)의 하드웨어 가속 성능을 극대화하기 위해 수행한 YOLO11 모델의 구조적 최적화 기법에 대해 기술한다.7) 원본 YOLO11 모델은 최신 GPU 환경에 적합한 연산자들로 구성되어 있어, 임베디드 NPU 환경에서는 컴파일러 호환성 문제나 성능 저하(CPU fallback)를 유발한다. 따라서 Arm Ethos-N Driver Stack의 Operator Support6) 명세를 준수하도록 네트워크를 재설계하였다.
1) 활성화 함수 대체
원본 YOLO11 모델은 Swish 기반의 SiLU19)를 주 활성화 함수로 사용한다. 그러나 SiLU는 지수 연산을 포함하여 임베디드 NPU에서 연산 비용이 높거나, 특정 드라이버 버전에서 하드웨어 가속이 제한적이다. 본 연구에서는 이를 Arm Ethos-N NPU에서 지원하는 Leaky ReLU19)로 대체하였다. Leaky ReLU는 선형 연산 기반으로 하드웨어 리소스를 효율적으로 사용하며, 양자화 시에도 SiLU 대비 정확도 손실이 적어 임베디드 환경에 적합하다.
2) Upsampling 방식
FPN(Feature Pyramid Network) 구조에서 사용되는 Nearest neighbor 혹은 Bilinear interpolation 기반의 업샘플링 레이어는 NPU 컴파일러 최적화 과정에서 병목을 일으킬 수 있다. 본 연구에서는 이를 Arm Ethos-N NPU에서 지원하는 Transpose convolution 2D 레이어로 변경하였다. 특히 Stride 2 설정을 적용하여 특징 맵의 공간 해상도를 2배로 확장함과 동시에, 가중치를 학습 가능하게 하여 보간법 대비 정보 손실을 최소화하였다.
3) Attention Mechanism 재설계
YOLO11의 Attention 및 PSA 모듈은 복잡한 행렬 곱과 Softmax 연산을 포함한다. Arm Ethos-N NPU는 4차원 텐서까지 지원하지만, Transformer 계열의 복잡한 텐서 차원 변환과 Softmax 연산은 NPU 내부 메모리 대역폭 효율을 저하시킨다. 이에 따라 기존 어텐션 모듈을 제거하고, NPU의 강점인 합성곱 연산만을 활용한 HACA(Hardware-Aware Convolutional Attention) 모듈을 제안한다. 이 모듈은 1*1 합성곱을 통한 채널 압축 및 확장, 그리고 3*3 합성곱을 통한 공간 정보 집약을 수행하며, Concatenation을 통해 특징을 결합한다. Concatenation 수행 시 채널 차원이 16의 배수가 되도록 설계하여 NPU 제약 사항을 준수하였다.
PoseNet parameter reduction through architecture optimization
4) 양자화 인지 구조 수정
ResBlock 내의 덧셈 연산(Element-wise addition)을 수행할 때, 일반적인 산술 연산자(+) 대신 PyTorch의 FloatFunctional을 적용하였다. 이는 추후 진행될 8-bit 양자화 과정에서 덧셈 연산의 스케일과 제로 포인트를 정확하게 추적하여, Arm Ethos-N NPU가 지원하는 8-bit 연산 정밀도를 유지하기 위함이다.
임베디드 디바이스의 제한된 연산 자원을 고려하여 PoseNet의 Backbone을 재설계하였다. 최적화의 목표는 파라미터 수와 연산량을 줄이면서도, Human pose estimation 작업에 필요한 정보를 보존하는 것이다.
1) Backbone Network 재설계
기존 ResNet-50의 Bottleneck 구조는 높은 정확도를 보이지만, Arm Ethos-N NPU가 연산할 수 없는 연산자들과 복잡한 구조를 가지고 있다. 이를 해결하기 위해 우리는 표준 합성곱을 Depthwise separable convolution으로 대체하였다. 이 방식은 공간적 특징을 추출하는 Depthwise convolution과 채널 간 정보를 혼합하는 Pointwise convolution으로 연산을 분리하여 계산 복잡도를 획기적으로 낮춘다.
두 연산 방식의 연산량 비교는 다음 식 (1)과 식 (2)를 따른다.
| (1) |
| (2) |
따라서 Backbone을 Depthwise convolution 연산으로 수정하게 될 때 이론적으로 87.2 %의 파라미터 감소 효과를 기대할 수 있다.
2) NPU 친화적 채널 정렬
임베디드 NPU는 데이터를 병렬로 처리하는 SIMD(Single Instruction Multiple Data) 아키텍처를 기반으로 하며, 일반적으로 8-채널 또는 32-채널 단위의 메모리 접근에 최적화되어 있다. 따라서 특징 맵의 채널 수가 8의 배수가 아닐 경우, 제로 패딩으로 인한 메모리 오버헤드와 연산 효율 저하가 발생한다. 본 연구에서 사용된 Arm Ethos-N NPU는 8 channel로 생성되어 있지만, Concatenation과 같은 연산은 16 channel로만 계산 가함을 알리고 있다. 그러나 최적화된 PoseNet의 경우에는 NPU에서 Conv 연산만을 진행하므로 해당 제약에서 자유롭게 변경 가능했다.
따라서 모든 컨볼루션 레이어의 출력 채널을 8의 배수로 강제하는 Channel alignment 기법을 적용하였다. 이러한 예외적 확장은 약 12,432개의 추가 파라미터를 발생시키지만, 이는 전체 모델 파라미터 대비 0.4 % 정도로 매우 적은 영향을 받는 대신 NPU 활용률을 극대화한다.
3.3 양자화
본 절에서는 32-bit 부동소수점(FP32)으로 학습된 모델을 Arm Ethos-N NPU 가속기에 배포하기 위해 수행한 8-bit 정수(INT8) 양자화 파이프라인에 대해 기술한다. 본 연구에서는 양자화 인지 학습 기법을 적용하여 양자화 오류에 강건한 가중치를 학습시켰다. 전체 파이프라인은 QAT 미세 조정, 중간 표현 변환(ONNX Export), 그리고 최종 배포 포맷 변환(TFLite conversion)의 3단계로 구성된다.
1) 양자화 방식 설정
Telechips D5 보드 상의 NPU는 대상 텐서의 속성에 따라 지원하는 양자화 방식이 상이하다. Arm Ethos-N Driver Stack의 지원 명세에 따르면, 정밀한 표현이 요구되는 가중치 텐서에 대해서는 Per-Channel 양자화가 지원되나, 연산 효율이 중요한 활성화 텐서에 대해서는 Per-Tensor 방식만이 허용된다. 본 연구에서는 이러한 하드웨어 명세를 준수하여 하이브리드 양자화 전략을 수립하였다.
입력 텐서의 부동소수점 값 xf는 양자화 파라미터(Scale S, Zero-point Z)에 의해 다음 식 (3)과 같이 q-bit 정수 xq로 매핑된다.
| (3) |
첫째, 활성화 함수의 경우, NPU의 메모리 대역폭 효율과 연산 속도를 극대화하기 위해 텐서 전체가 단일 스케일(Stensor)을 공유하는 Per-tensor symmetric quantization 방식을 채택하였다. 이때 Stensor는 다음 식(4)와 같이 텐서 전체의 절대값 최대치를 기준으로 산출된다.
| (4) |
둘째, 합성곱 필터와 같이 가중치의 경우, 채널별 데이터 분포의 차이가 커서 단일 스케일 적용 시 정보 손실이 발생할 우려가 있다. 따라서 본 연구에서는 정확도 저하를 방지하기 위해 각 출력 채널 c마다 독립적인 스케일(Sc)을 가지는 Per-channel symmetric quantization 방식을 적용하였다. 이는 식 (5)와 같이 표현된다.
| (5) |
최종적으로 가중치는 int8(Qmin = -127, Qmax = 127), 활성화 함수는 uint8(Qmin = 0, Qmax = 255) 정밀도로 매핑하여 NPU 가속에 최적화된 모델을 구성하였다.
2) 양자화 인지 학습
사전 학습된 FP32 모델에 가짜 양자화 노드를 삽입하여, 순전파 시 양자화로 인한 반올림 오차를 시뮬레이션하였다. QAT 과정에서는 모델의 전체 파라미터를 다시 학습시키는 대신, 20 epoch 동안의 짧은 미세 조정을 수행하였다. 이를 통해 모델은 저정밀도 표현으로 인한 정보 손실을 보정하는 방향으로 가중치를 업데이트하게 된다. 학습 시 prepare_qat 함수를 통해 Conv2d, Linear, ConvTranspose2d 등의 연산자가 양자화 연산자로 융합되도록 처리하였다.
3) 모델 변환 및 캘리브레이션
QAT가 완료된 모델은 ONNX(Open Neural Network Exchange) 포맷으로 우선 변환된다. 이때 QAT 과정에서 학습된 FakeQuantize 정보가 ONNX 그래프에 포함되도록 하였다. 이 단계에서 검증 데이터셋 중 200장의 이미지를 무작위로 추출하여 대표 데이터셋을 구성하고, 이를 기반으로 입력 데이터의 분포를 보정하는 절차를 수행하였다. 이는 QAT된 모델이 실제 추론 환경(Inference runtime)에서 입력값의 동적 범위를 정확히 매핑하여 INT8 연산의 정밀도를 보장하기 위함이다.
본 연구에서 사용된 PoseNet은 YOLO11와 같은 객체 탐지 모델과 다르게 구조적으로 양자화 과정에서 손실되는 정확도가 작은 구조인 특징을 고려하여 PTQ를 채택하였다.
1) 대표 데이터셋
양자화 과정에서 활성화 함수의 동적 범위를 정확히 추정하기 위해 검증 데이터셋에서 200장의 이미지를 무작위로 샘플링하여 대표 데이터셋을 구성하였다. 각 샘플은 추론 시와 동일한 전처리 파이프라인을 거친다. 구체적으로, 입력 이미지를 256×256 해상도로 리사이징한 후, ImageNet 데이터셋의 통계적 특성을 반영한 정규화를 수행하였다. 정규화는 다음 식 (6)을 따른다.
| (6) |
여기서 평균 μ는 [0.485, 0.456, 0.406], 표준편차 σ는 [0.229, 0.224, 0.225]로 각각 RGB 채널별 통계치를 나타낸다. 이를 통해 양자화 시 사용되는 통계치가 실제 추론 환경의 입력 분포와 일치하도록 보장하였다.
2) 캘리브레이션을 통한 동적 범위 추정
구성된 Representative dataset을 FP32 모델에 입력하여 순전파를 수행하며, 각 레이어의 활성화 값 분포를 수집하는 Calibration 과정을 수행하였다. 이 과정에서 각 텐서가 가질 수 있는 최솟값(Rmin)과 최댓값(Rmax)을 기록하고, 이를 기반으로 FP32 실수 범위를 INT8 정수 범위(-128∼127)로 매핑하는 양자화 파라미터인 Scale(S)과 Zero-point(Z)를 계산하였다.
INT8 양자화는 Affine quantization 방식을 따르며, 실수 값 R을 양자화된 정수 값 Q로 변환하는 과정은 다음과 같다. 먼저 실수 값을 Scale로 나누고 반올림한 후 Zero-point를 더한 다음, INT8의 표현 범위인 -128에서 127 사이로 클램핑한다.
Scale S와 Zero-point Z는 Calibration 과정에서 수집된 실수 범위의 최솟값과 최댓값, 그리고 정수 범위의 최솟값(-128)과 최댓값(127)으로부터 계산된다. Scale은 실수 범위의 폭을 정수 범위의 폭(255)으로 나눈 값으로, 실수 1단위가 정수 몇 단위에 해당하는지를 나타낸다. Zero-point는 실수 0이 정수 몇으로 매핑되는지를 나타내는 오프셋 값으로, 실수의 최솟값이 정수의 최솟값(-128)으로 정확히 매핑되도록 조정한다(Fig. 3).
Quantization calibration
이렇게 계산된 양자화 파라미터는 각 레이어의 가중치와 활성화 텐서마다 개별적으로 설정되며(Per-tensor quantization), 이를 통해 각 레이어의 특성에 맞는 최적의 양자화 정밀도를 확보하였다.
4. 실험 및 검증
4.1 실험환경 구성
최적화된 YOLO11와 PoseNet 모델의 학습 및 성능 평가는 Table 2에 제시된 데이터셋을 활용하여 수행되었다. 이때, 평가의 객관성을 확보하기 위해 테스트 데이터셋은 학습 과정에서 완전히 배제하였다.
Dataset details
두 모델의 학습은 NVIDIA A100 Tensor Core GPU 환경에서 진행되었다. 하이퍼파라미터 설정의 경우 배치 크기는 16으로 통일하였으며, 일반화 성능 확보를 위해 배치 정규화20)를 적용하였다. 학습 횟수는 YOLO11 300회, PoseNet 60회로 설정하였으며, 각 모델의 학습에는 약 3시간이 소요되었다.
학습 완료 후 임베디드 환경 배포를 위해 모델 경량화 및 변환 과정을 거쳤다. PyTorch 모델을 ONNX 포맷으로 변환한 뒤, 최종적으로 Full integer quantization(Int8)이 적용된 TFLite 모델로 변환하였다. 이후 Apache TVM 컴파일러를 통해 타겟 보드에 최적화된 코드를 생성하였으며, 검증 단계에서는 입출력 데이터를 NPZ 포맷으로 추출하여 PC 환경에서 후처리 및 정확도 검증을 수행하는 파이프라인을 구축하였다(Fig. 4).
Evaluation process
4.2 성능 평가
본 절에서는 Telechips D5 보드 상의 Arm Ethos-N NPU 배포를 위해 최적화된 YOLO11 모델의 단계별 성능 변화를 mAP@50(mean Average Precision at IoU=0.5)21)과 파라미터 크기를 기준으로 평가하였다. 단계별 상세한 비교 결과는 Table 3(a)와 같다.
Experience result
Table 3(a)는 YOLO11 모델의 최적화 및 양자화 단계에 따른 정밀도, 모델 포맷, 크기, 정확도의 종합적인 변화를 보여준다. 정확도 평가 결과, PyTorch 기반의 원본 YOLO11 모델(FP32)은 10.5 MB의 크기로 89.9 %의 mAP@5021)을 기록하였다. 이를 3.2.1절에서 기술한 바와 같이 Arm Ethos-N NPU의 하드웨어 연산 제약 사항을 고려하여 네트워크 구조를 재설계한 최적화 모델의 경우 크기는 11.41 MB로 소폭 증가하였으며 88.1 %의 mAP@5021)을 기록하였다. 하드웨어 호환성을 확보하는 과정에서 약 1.8 %p의 성능 하락이 발생했으나, 이는 NPU 상에서의 연산 효율성을 고려할 때 수용 가능한 범위임을 확인하였다.
이후 INT8 양자화에 따른 정확도 손실을 보정하기 위해 QAT 재학습을 수행한 모델은 87.3 %, 이를 최종 배포 포맷인 TFLite(INT8)로 변환한 모델은 크기가 2.87 MB로 대폭 감소하였고 85.9 %의 mAP@5021)을 기록하였다. 최종적으로 해당 TFLite 모델을 TVM 컴파일러를 통해 배포용 아티팩트로 변환하여 타겟 디바이스인 Telechips D5 보드에 배포하였으며, 실제 보드에서 추론을 수행한 결과를 PC 환경에서 분석한 결과 mAP@50은 83.6 %를 달성하였다. 이는 원본 FP32 모델 대비 약 7 %의 정확도 손실이 발생하였으나, 기존에 NPU 가속이 불가능했던 최신 객체 탐지 모델을 하드웨어 제약 사항에 맞춰 최적화하고 실제 엣지 디바이스에서 유의미한 탐지 성능을 확보했다는 점에서 의의가 있다.
모델 경량화 측면에서는 원본 모델(10.5 MB) 대비 최적화된 모델(11.41 MB)의 크기가 소폭 증가하였으나, 이는 NPU 호환성을 위해 채널 정렬 및 특정 연산자를 대체하는 과정에서 파라미터가 일부 추가된 것에 기인한다. 그러나 Table 3(a)에서 확인할 수 있듯 최종적으로 INT8 양자화가 적용된 TFLite 모델의 크기는 2.87 MB로 측정되어, 원본 모델 대비 약 72.7 %의 획기적인 모델 크기 감소율을 달성하였다. 이러한 결과는 제안하는 최적화 파이프라인이 메모리 및 연산 자원이 제한적인 임베디드 시스템에서 YOLO11 모델의 효율적인 배포를 가능하게 함을 실증한다.
Fig. 5는 최적화된 모델의 추론 결과를 시각화한 것으로, 실제 주행 환경에서 촬영된 이미지에서도 차량, 보행자 등 주요 객체의 영역을 정확한 Bounding box로 추론하는 모습을 볼 수 있다. 이는 본 연구에서 제안한 최적화 및 양자화 파이프라인이 메모리 제약이 있는 임베디드 환경에서도 객체 탐지를 위한 신뢰할 수 있는 성능을 제공함을 시사한다.
Inference result on Telechips D5
본 연구에서는 고성능 GPU 서버 환경에서 학습된 PoseNet 모델을 Telechips D5에 배포하기 위해 단계적인 최적화 및 양자화 과정을 수행하였다. 원본 모델과 최적화 단계별 모델의 정밀도, 정확도(PCKh@0.5),22) 그리고 모델 크기를 비교한 상세 결과는 Table 3(b)와 같다. Table 3(b)는 최적화 단계별로 모델의 포맷과 크기가 획기적으로 변화하는 양상과 이에 따른 정확도 유지 수준을 명확히 추적할 수 있도록 보여준다.
실험 결과, PyTorch 기반의 FP32 원본 모델은 131 MB의 메모리를 차지하며 85.6 %의 PCKh 점수22)를 기록하였다. 이를 임베디드 환경에 적합하도록 백본과 모델 최적화를 진행한 결과, FP32 포맷 유지 시에도 모델 크기가 23.4 MB로 대폭 감소하였으며 정확도는 84.6 %를 기록하였다.
특히, 최종 타겟 시스템인 D5 보드 배포를 위해 수행한 TVM 컴파일 및 INT8 양자화 모델은 모델 크기가 6.35 MB로, 원본 PoseNet 대비 약 4.8 % 크기의 모델로 압축 가능함을 입증하였다. 성능 측면에서도 D5 NPU 상에서 83.7 %의 PCKh@0.5 점수를 기록하여, 원본 모델(85.6%) 대비 약 1.9%의 성능 하락을 보였다. 이는 양자화로 인한 정보 손실을 최소화하면서도 메모리 제약이 심한 엣지 디바이스에서 효율적인 추론이 가능함을 시사한다.
관절 포인트별 정확도 분석 결과, 원본 PoseNet 모델(FP32) 대비 최적화된 INT8 모델의 관절별 정확도는 Head 등 일부 부위를 제외하고 전반적으로 5% 이내의 근소한 성능 차이를 보여 양자화로 인한 손실을 최소한으로 구현하였음을 확인할 수 있다. 이를 시각적인 포즈 추론 결과는 Fig. 5의 시각화 예시에서도 잘 나타나는데, 실제 여러 환경에서 촬영된 이미지에서도 사람의 머리, 어깨, 팔꿈치 등 주요 관절 위치를 정확하게 추론하는 모습을 볼 수 있다. 이는 본 연구에서 제안한 최적화 파이프라인이 메모리 제약이 있는 임베디드 NPU 환경에서도 자세 추정을 위한 신뢰할 수 있는 성능을 제공함을 시사한다.
5. 결 론
본 논문에서는 자율주행 시스템의 핵심인 객체 탐지와 자세 추정 모델을 Telechips D5 보드에 실시간으로 구동하기 위한 하드웨어 인지 최적화 및 양자화 파이프라인을 제안하였다.
Arm Ethos-N NPU의 하드웨어적 제약을 극복하기 위해, YOLO11과 PoseNet의 아키텍처를 NPU 지원 연산자 중심으로 재설계하였다. 또한, NPU 가속 성능을 온전히 활용하기 위해 QAT와 PTQ를 모델 특성에 맞게 선별적으로 적용하고, TVM 컴파일러를 통해 배포용 아티팩트를 생성하여 최종 배포를 수행하였다.
실험 결과, 최적화된 YOLO11 모델은 Telechips D5 보드 상에서 FP32 원본 모델 대비 72.7%의 파라미터 감소를 달성하면서도, mAP@50 기준 83.6%의 정확도를 기록하여 원본 모델 대비 약 7%의 정확도 손실만을 보이며 엣지 디바이스에서의 실용성을 입증하였다. PoseNet 모델 또한 원본 대비 약 4.8% 수준으로 모델 크기를 획기적으로 경량화하였음에도 불구하고, PCKh@0.5 기준 83.65%의 성능을 유지하여 약 1.92%의 미미한 정확도 손실만을 보였다.
본 연구는 고성능 GPU 기반으로 설계된 최신 비전 AI 모델을 리소스가 제한적인 NPU에 효과적으로 이식하는 구체적인 방법론을 제시했다는 점에서 의의가 있다. 제안된 파이프라인은 향후 다양한 엣지 디바이스에서 고성능 AI 모델을 상용화하는 데 있어 중요한 참고 지표가 될 것으로 기대된다.
Acknowledgments
A part of this paper was presented at the KSAE 2025 Fall Conference and Exhibition
이 연구는 2025년도 산업통상자원부 및 한국산업기술기획평가원(KEIT) 연구비 지원에 의한 결과임(RS-2025-25454779).
이 논문은 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 지역지능화혁신인재양성사업임(IITP-2026-RS-2020-II201462).
References
-
D. Yoon, K. Jang, J. Won and Y. Kang, “A Multi-task Deep Learning Method for Road Environment Recognition and Object Tracking,” Transactions of KSAE, Vol.32, No.1, pp.77-82, 2024.
[https://doi.org/10.7467/KSAE.2024.32.1.77]
- Ultralytics, YOLO Documentation, https://docs.ultralytics.com/, , 2024. (Accessed on 2026. 01. 15)
- Telechips, TOPST D5 Platform Technical Documentation, https://topst.ai/tech/docs, , 2024. (Accessed on 2026. 01. 15)
-
G. Papandreou, T. Zhu, N. Kanazawa, A. Toshev, J. Tompson, C. Bregler and K. Murphy, “Towards Accurate Multi-person Pose Estimation in the Wild,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.4903-4911, 2017.
[https://doi.org/10.1109/CVPR.2017.395]
-
I. Shim, J. Lim, Y. Jang, J. H. You, S. T. Oh and Y. Kim, “Developing a Compressed Object Detection Model Based on YOLOv4 for Deployment on Embedded GPU Platform of Autonomous System,” Transactions of KSAE, Vol.29, No.10, pp.959-966, 2021.
[https://doi.org/10.7467/KSAE.2021.29.10.959]
- Arm Ltd., Ethos-N Driver Stack, GitHub Repository, https://github.com/ARM-software/ethos-n-driver-stack, , 2024. (Accessed on 2026. 01. 15)
- J. Choi and S. C. Kee, “YOLOv11 Network Optimization Considering the Computational Characteristics of the Arm Ethos-N NPU,” KSAE Fall Annual Conference Proceedings, 2025.
- M. Nagel, M. Fournarakis, R. A. Amjad, Y. Bondarenko, M. van Baalen and T. Blankevoort, “A White Paper on Neural Network Quantization,” arXiv preprint arXiv:2106.08295, , 2021.
-
Z. Liu, B. Oguz, C. Zhao, E. Chang, P. Stock, Y. Mehdad, Y. Shi, R. Krishnamoorthi and V. Chandra, “LLM-QAT: Data-Free Quantization Aware Training for Large Language Models,” Findings of the Association for Computational Linguistics: ACL 2024, pp.467-484, 2024.
[https://doi.org/10.18653/v1/2024.findings-acl.26]
- E. Frantar, S. Ashkboos, T. Hoefler and D. Alistarh, “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers,” International Conference on Learning Representations (ICLR), 2023.
-
J. Redmon, S. Divvala, R. Girshick and A. Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.779-788, 2016.
[https://doi.org/10.1109/CVPR.2016.91]
-
J. Redmon and A. Farhadi, “YOLO9000: Better, Faster, Stronger,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.6517-6525, 2017.
[https://doi.org/10.1109/CVPR.2017.690]
- J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” arXiv preprint arXiv:1804.02767, , 2018.
- M. Hussain and H. Al-Aqrabi, “YOLOv11: An Overview of the Key Architectural Enhancements,” arXiv preprint arXiv:2410.17725, , 2024.
- A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto and H. Adam, “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications,” arXiv preprint arXiv:1704.04861, , 2017.
-
B. Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard, H. Adam and D. Kalenichenko, “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2704-2713, 2018.
[https://doi.org/10.1109/CVPR.2018.00286]
- TensorFlow, TensorFlow Lite: ML for Mobile and Edge Devices, https://www.tensorflow.org/lite, , 2017.
- T. Chen, T. Moreau, Z. Jiang, L. Zheng, E. Yan, H. Shen, M. Cowan, L. Wang, Y. Hu, L. Ceze, C. Guestrin and A. Krishnamurthy, “TVM: An Automated End-to-End Optimizing Compiler for Deep Learning,” 13th USENIX Symposium on Operating Systems Design and Implementation (OSDI), pp.578-594, 2018.
- P. Ramachandran, B. Zoph and Q. V. Le, “Searching for Activation Functions,” arXiv preprint arXiv:1710.05941, , 2017.
- S. Ioffe and C. Szegedy, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,” International Conference on Machine Learning (ICML), pp.448-456, 2015.
-
M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn and A. Zisserman, “The Pascal Visual Object Classes (VOC) Challenge,” International Journal of Computer Vision, Vol.88, No.2, pp.303-338, 2010.
[https://doi.org/10.1007/s11263-009-0275-4]
-
M. Andriluka, L. Pishchulin, P. Gehler and B. Schiele, “2D Human Pose Estimation: New Benchmark and State of the Art Analysis,” IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.3686-3693, 2014.
[https://doi.org/10.1109/CVPR.2014.471]