온디바이스 AI — 인터넷 없이 돌아가는 AI
인터넷 연결 없이 스마트폰과 노트북 자체 칩이 AI 연산을 처리하는 온디바이스 AI가 정확히 무엇이고, 클라우드 AI와 어떻게 다르며 어디까지 실용적인지 2026년 최신 칩셋 사양과 시장 데이터를 근거로 정리했습니다.

인터넷 연결 없이 스마트폰과 노트북 자체 칩이 AI 연산을 처리하는 온디바이스 AI가 정확히 무엇이고, 클라우드 AI와 어떻게 다르며 어디까지 실용적인지 2026년 최신 칩셋 사양과 시장 데이터를 근거로 정리했습니다.

벤치마크 1위라는 숫자는 시험지를 미리 본 결과일 수도, 내 업무와 무관한 시험일 수도 있습니다. 2026년 SWE-bench 퇴출과 LM Arena 논란을 통해 점수를 읽는 6가지 원칙을 정리합니다.

메타, 알리바바, 심지어 폐쇄 전략의 상징이던 오픈AI까지 최고 성능 모델을 무료로 뿌립니다. 자선이 아닙니다. "보완재를 공짜로 만들어 본진에서 돈을 번다"는 40년 된 실리콘밸리 전략이 AI 시대에 다시 작동하고 있습니다.

모델 이름 뒤에 붙은 B는 성적표가 아니라 설치 사양표에 가깝습니다. 이 숫자를 성능 순위로 읽는 순간, 모델 선택은 거의 반드시 틀립니다.

AI가 이미지를 "볼 수 있게" 된 것은 성능이 좋아져서가 아니라, 입력을 처리하는 구조 자체가 바뀌었기 때문입니다. 그리고 이 변화는 모델의 점수보다 우리가 질문하는 방식을 먼저 바꿨습니다.

어제 완벽했던 프롬프트가 오늘은 엉뚱한 답을 내놓습니다. 원인은 대개 둘 중 하나인데, 둘의 처방이 정반대입니다. 하나는 내가 손댈 수 없는 서버 쪽 무작위성이고, 다른 하나는 내가 만든 프롬프트의 문제입니다.

할루시네이션은 AI가 "고장 난" 결과가 아니라, 지금의 학습·평가 방식이 모른다고 말하는 것보다 그럴듯하게 찍는 쪽에 점수를 더 주기 때문에 나타나는 구조적 부작용에 가깝습니다. 원리를 알면 대응법도 달라집니다.

"방금 전에 말씀드렸잖아요." AI에게 이 말을 해본 적 있다면, 컨텍스트 윈도우를 만난 것입니다. AI는 기억력이 나쁜 게 아니라, 애초에 기억이라는 걸 하지 않습니다. 왜 이런 일이 벌어지는지 정리했습니다.

AI 요금표에 적힌 단위는 '글자'도 '단어'도 아닌 '토큰'입니다. 이 차이 때문에 같은 내용을 한국어로 쓰면 영어보다 비싸지고, 가격표는 그대로인데 실제 청구액만 오르는 일도 벌어집니다. 2026년 8월 기준 실제 요금표와 함께 정리했습니다.
