온디바이스 AI — 인터넷 없이 돌아가는 AI

"온디바이스 AI"를 그냥 "인터넷 없이도 되는 AI 기능" 정도로만 알고 있으면, 왜 같은 회사의 최신 폰인데도 어떤 모델은 지원하고 어떤 모델은 안 되는지, 왜 온디바이스 AI를 켜 놓아도 일부 질문은 여전히 느리게 클라우드를 거쳐 오는지 설명할 수 없습니다.

---

배경 / 왜 지금 이 용어인가

2024년만 해도 "온디바이스 AI"는 카메라 보정이나 음성 인식 같은 제한적인 기능을 가리키는 말이었습니다. 하지만 2026년 현재는 상황이 달라졌습니다. 삼성전자는 갤럭시 S24 시리즈부터 헥사곤(Hexagon) NPU 기반 갤럭시 AI를 탑재해 실시간 통역, 포토 어시스트 같은 생성형 AI 기능을 기기 안에서 처리하고 있고, 기존 대비 최대 7배 빠른 온디바이스 연산이 가능하다고 밝히고 있습니다(삼성반도체).

애플도 iOS 26 이상에서 Apple Intelligence의 온디바이스 파운데이션 모델을 정식 제공하고 있으며, 구글은 Gemini Nano를 Pixel 10 시리즈와 스냅드래곤 8 Elite·8 Gen 4급 칩셋에 탑재해 매직 컴포즈, 녹음 요약 같은 시스템 기능에 활용하고 있습니다(LocalAIMaster). 다만 2026년 4월 기준 서드파티 앱이 Gemini Nano를 직접 호출할 수는 없고, 시스템 기능에 한정돼 있다는 점도 함께 알려졌습니다.

이렇게 스마트폰·노트북 제조사들이 "온디바이스 AI 지원"을 핵심 마케팅 문구로 내세우면서, 정작 이 말이 정확히 무엇을 뜻하는지는 흐릿해졌습니다.

핵심 데이터 & 현황

구분	요구 사양 / 성능	출처
Apple Intelligence (iOS 26+)	RAM 8GB 이상, iPhone 17에서 로컬 LLM 약 52 tok/s	LocalAIMaster, 2026
Gemini Nano v3	RAM 12GB 이상, 스냅드래곤 8 Elite·8 Gen 4·Tensor G5급 필요, Pixel 10 약 10.4 tok/s	Next Waves Insight, 2026
갤럭시 AI (헥사곤 NPU)	기존 대비 최대 7배 빠른 온디바이스 연산	삼성반도체
생성형 AI 탑재 스마트폰 출하 비중	2026년 45% → 2027년 52% 전망	카운터포인트리서치, 2026
엣지 AI 웨어러블 보급률	2025년 30% → 2032년 약 80% 전망	카운터포인트리서치, 2026

해석: 같은 "온디바이스 AI 지원" 문구를 써도 필요한 RAM·칩셋 등급이 제조사마다 다르고(8GB vs 12GB), 로컬 처리 속도도 기종마다 5배 이상 차이 납니다(10.4 tok/s vs 52 tok/s). "지원 여부"는 이분법이 아니라 사양표를 봐야 알 수 있는 스펙트럼에 가깝습니다.

심층 분석

1) 온디바이스 AI는 정확히 무엇인가

온디바이스 AI는 클라우드 서버로 데이터를 보내지 않고, 기기에 내장된 NPU(신경망처리장치, Neural Processing Unit)가 자체적으로 AI 연산을 수행하는 방식입니다. 이를 가능하게 하는 핵심 기술이 경량화입니다. 원래 수천억 개 매개변수를 가진 대형 언어모델(LLM)을 그대로 쓸 수 없기 때문에, 매개변수 수를 크게 줄인 소형언어모델(sLLM)을 만들고, 여기에 양자화(quantization)를 적용합니다. 학습은 보통 FP16·FP32(고정밀 부동소수점)로 하지만, 추론 단계에서는 가중치를 INT8·INT4 같은 더 낮은 비트로 변환해 메모리 사용량과 연산량을 줄이는 방식입니다(Enerzai). 스마트폰에서는 보통 1-3B(10억-30억) 매개변수급, 플래그십 안드로이드 기기에서는 최대 7B급 모델이 로컬에서 구동됩니다.

2) 흔한 오해 — 왜 그렇게 읽게 되나

가장 흔한 오해는 "온디바이스 AI 지원 = 모든 기능이 폰 안에서 처리된다"는 생각입니다. 실제로는 대부분 하이브리드 구조입니다. 가볍고 개인적인 요청(문자 요약, 간단한 응답 제안)은 기기 안에서 처리하고, 방대한 지식이나 복잡한 추론이 필요한 질문은 여전히 클라우드로 넘어갑니다. 제조사 발표 자료가 "온디바이스 AI"라는 단어를 기능 전체의 브랜드처럼 쓰다 보니, 소비자 입장에서는 오프라인에서도 전부 동작하는 것으로 오해하기 쉽습니다.

또 다른 오해는 "최신 프리미엄 폰이면 당연히 지원한다"는 것입니다. 하지만 Gemini Nano처럼 RAM 12GB 이상, 특정 세대 이상 칩셋을 요구하는 경우가 많아, 같은 브랜드의 같은 해 출시 모델이라도 사양 등급에 따라 지원 여부가 갈립니다.

3) 실제로 판단하는 기준

"이 기기가 온디바이스 AI를 제대로 쓸 수 있는가"를 판단할 때 볼 지표는 다음과 같습니다.

• NPU 성능(TOPS): 초당 처리 가능한 연산 횟수. 숫자가 높다고 항상 체감 속도가 빠른 것은 아니므로 참고 지표로만 본다.
• RAM 용량: 온디바이스 모델을 메모리에 올려야 하므로, 제조사가 명시한 최소 RAM(8~12GB대)을 충족하는지 확인한다.
• 모델 파라미터 규모: 1-3B급인지 7B급인지에 따라 응답 품질과 속도가 달라진다.
• 실제 응답 속도(tok/s): 공식 스펙보다 실사용 벤치마크(10~50 tok/s대)가 체감을 더 정확히 보여준다.
• 오프라인 작동 범위: 비행기 모드 등에서 실제로 어떤 기능까지 동작하는지 직접 확인한다.

4) 언제 쓸모 있고 언제 무의미한가

온디바이스 AI가 유용한 상황은 명확합니다. 문자·사진·건강 데이터처럼 민감한 개인정보를 서버로 보내고 싶지 않을 때, 실시간 번역·자막처럼 지연이 거의 없어야 할 때, 공장·매장·현장처럼 네트워크가 불안정한 환경에서 CCTV 관제나 품질 검사를 돌려야 할 때입니다.

반대로 최신 정보 검색이나 복잡한 코딩·추론처럼 대형 모델의 폭넓은 지식과 연산력이 필요한 작업에서는 온디바이스 sLLM이 클라우드 대형 모델을 대체하기 어렵습니다. 분석: 결국 "온디바이스냐 클라우드냐"의 이분법이 아니라, 어떤 작업을 어디서 처리할지 나누는 하이브리드 설계가 2026년 현재의 현실적인 답에 가깝습니다.

실전 — 온디바이스 AI를 제대로 읽는 4가지 원칙

1. "온디바이스 AI 지원"이라는 문구를 보면 구체적으로 어떤 기능이 로컬에서 도는지부터 확인합니다. 대부분 안내문 하단에 최소 RAM·칩셋 조건이 별도로 붙어 있습니다.
2. 로컬 AI의 응답 속도가 클라우드보다 느린 것은 기기 결함이 아니라 구조적 특성입니다. 데스크톱 GPU 대비 훨씬 낮은 tok/s로 동작한다는 전제를 두고 기대치를 맞춥니다.
3. 프라이버시가 핵심 목적이라면 "온디바이스 처리"라는 표현만 믿지 말고, 실제로 어떤 데이터가 하이브리드 구조에서 기기 밖으로 나가는지 제조사 문서를 확인합니다.
4. 현장 도입을 검토한다면 온디바이스 sLLM 하나로 모든 문제를 해결하려 하지 말고, 클라우드 대형 모델과 역할을 나누는 하이브리드 아키텍처를 전제로 설계합니다.

코멘트