NPU

인프라
약 1분 읽기

딥러닝의 핵심인 대규모 행렬 연산을 하드웨어 수준에서 가속하여, 낮은 전력으로 온디바이스 AI 성능을 높이는 데 도움을 주는 방식하는 인공지능 전용 프로세서입니다.

다른 이름
Neural Processing Unit신경망 처리 장치AI 가속기Neural Engine

상세 설명

NPU는 인공신경망 모델의 데이터 흐름을 최적화하여 CPU나 GPU보다 적은 에너지로 AI 추론 작업을 수행하는 특수 목적 하드웨어입니다. 반복적인 행렬 연산과 컨볼루션 처리에 특화된 하드웨어 블록을 갖추고 있어 데이터 병목을 줄이고 작업 속도를 높입니다. 특히 클라우드 연결 없이 기기 내부에서 데이터를 처리하는 '온디바이스 AI' 환경에서 배터리 수명을 보존하며 실시간 기능을 구현하는 핵심 엔진 역할을 합니다. 최근 마이크로소프트의 Copilot+ PC 기준(40 TOPS 이상)과 같이 로컬 AI 실행 능력을 가늠하는 표준 지표가 되었으며, 이미지 인식, 실시간 번역, 배경 흐림 효과 등 다양한 인공지능 기능을 하드웨어 수준에서 지원합니다.

도구 선택에서 중요한 이유

NPU는 인터넷 연결 없이도 고성능 AI 도구를 개인 PC나 모바일에서 빠르게 구동할 수 있게 합니다. 특히 노트북 선택 시 NPU 성능이 높을수록 배터리 소모를 줄이면서 화상 회의 필터링, 로컬 대형 언어 모델(LLM) 구동, 보안 위협 탐지 등의 작업을 원활하게 처리할 수 있습니다.

확인할 점

  • TOPS(Tera Operations Per Second): 초당 연산 횟수로, Copilot+ PC 기준인 40 TOPS 이상인지 확인
  • 소프트웨어 생태계: OpenVINO, ONNX, Core ML 등 주요 AI 프레임워크와의 호환성
  • 전력 효율성: 동일 연산 대비 CPU/GPU보다 낮은 전력 소비량(Watt당 성능)

대표적인 제품

애플의 Neural Engine(M 시리즈), 퀄컴의 Hexagon NPU(Snapdragon X Elite), 인텔의 AI Boost(Core Ultra), 구글의 TPU(Pixel 시리즈) 등이 있습니다.

관련 용어

GPU온디바이스 AI (On-device AI)topsLLM