멀티모달 AI란? 글자만 읽던 AI가 눈을 뜬 날 — 원리와 2026 실전 활용법

AI가 이미지를 "볼 수 있게" 된 것은 성능이 좋아져서가 아니라, 입력을 처리하는 구조 자체가 바뀌었기 때문입니다. 그리고 이 변화는 모델의 점수보다 우리가 질문하는 방식을 먼저 바꿨습니다.

---

배경 / 왜 지금 이 주제인가

시리즈 1편에서는 AI가 틀리는 문제(할루시네이션)를, 2편에서는 AI가 일정하지 않은 문제(비결정성)를 다뤘습니다. 이번 편은 조금 다른 층위의 이야기입니다. 무엇을 출력하느냐가 아니라, 무엇을 입력받을 수 있느냐가 바뀐 사건입니다. 

이제 우리는 오류 메시지를 타이핑해 옮기지 않고 화면을 그냥 캡처해서 던집니다. 계약서를 요약해 설명하는 대신 사진을 찍어 올립니다. 이 사소해 보이는 변화가 실은 AI 사용법의 가장 큰 전환점 중 하나입니다. 설명해서 물어보던 시대에서, 보여주고 물어보는 시대로 넘어온 것이기 때문입니다.

다만 오해도 함께 커졌습니다. "AI가 이제 눈을 떴다"는 표현은 절반만 맞습니다.

아래에서 보겠지만, 2026년 현재의 AI는 대학 전공 수준의 도표를 해석하면서도 벽시계의 시각은 제대로 못 읽습니다. 이 격차의 정체를 이해하는 것이 이 글의 목표입니다.

---

핵심 데이터 & 현황

• 전문가 수준까지의 거리: 대학 전공 수준 멀티모달 벤치마크 MMMU(11.5K 문항, 6개 분야·30개 과목·183개 세부분야, 30종 이미지 유형) 기준 인간 전문가 상한은 88.6% (Yue 외, CVPR 2024)
• 3년 만의 도약: 같은 벤치마크에서 GPT-4V는 2023년 11월 **56.8%**를 기록했고, 2026년 현재 프런티어 모델은 70%대 후반~80% 수준으로 보고됩니다 (MMMU 리더보드 및 벤더 자료 취합, 2026)
• 난도를 높이면 다시 벌어진다: 선택지를 4개에서 10개로 늘리고 문제 자체를 이미지 안에 넣은 MMMU-Pro에서는 원본 대비 성능이 16.8~26.9%p 하락 (Artificial Analysis 집계)
• 의외의 사각지대: 아날로그 시계 읽기 실험에서 멀티모달 모델 4종 모두 저조한 성적을 보였고, 합성 시계 이미지 5,000장으로 학습시키자 개선됐지만 낯선 디자인의 시계에서는 다시 급락 (Conde 외, IEEE Internet Computing, 2025)

? 해석: 첫 두 줄과 마지막 줄을 나란히 놓으면 지금의 AI 시각 능력이 어떤 모양인지 드러납니다. 대학 전공 시험은 80% 가까이 맞히면서, 초등학생도 하는 시계 읽기는 틀립니다. 사람의 시각 능력이 쉬운 것부터 어려운 것 순으로 쌓여 있다면, AI의 시각 능력은 학습 데이터가 많았던 순서로 쌓여 있기 때문입니다. 난이도가 아니라 데이터 분포가 실력의 지형을 결정합니다.

---

심층 분석

1) '눈을 뜬 날'은 정확히 언제인가 — 붙인 눈과 타고난 눈

멀티모달은 하나의 사건이 아니라 두 단계로 왔습니다. 그리고 그 차이가 이 주제의 핵심입니다.

1세대 — 파이프라인 접합 방식. 초기 방식은 서로 다른 모델을 이어 붙인 것이었습니다. 음성은 음성인식 모델이 텍스트로 바꾸고, 이미지는 OCR이나 이미지 인식 모델이 설명문으로 바꾼 뒤, 그 텍스트만 언어모델에 넣었습니다. 즉 AI는 이미지를 본 적이 없습니다. 누군가 대신 읽어준 요약문을 읽었을 뿐입니다.

이 구조의 문제는 번역 단계에서 정보가 버려진다는 점입니다. 음성을 텍스트로 옮기는 순간 목소리의 떨림, 억양, 말이 끊긴 자리, 뒤에서 들리는 소리가 모두 사라집니다. 사진을 설명문으로 옮기는 순간 설명자가 중요하다고 판단한 것만 남습니다.

2세대 — 네이티브 멀티모달. 이후 등장한 방식은 이미지와 소리를 텍스트로 번역하지 않고, 처음부터 같은 표현 공간에서 함께 학습합니다. 대중적으로 이 전환을 알린 모델이 2024년 5월 공개된 GPT-4o입니다. 'o'는 '옴니(omni)'의 약자로, 이전 모델들이 소리를 처리하기 위해 별도 모델에 의존했던 것과 달리 음성을 텍스트로 바꾸지 않고 직접 처리하는 구조를 택했습니다.

필자 의견: "AI가 눈을 떴다"는 표현의 실제 의미는 여기에 있습니다. 시력이 좋아진 것이 아니라, 중간에서 대신 읽어주던 통역사가 사라진 것입니다. 통역사가 없어지니 통역 과정에서 버려지던 정보가 남았고, 그래서 갑자기 많은 것이 가능해진 것처럼 보였습니다.

2) 성능보다 먼저 바뀐 것 — 질문의 형식

기술적 변화보다 사용자에게 더 크게 다가온 변화는 질문을 만드는 비용이 사라졌다는 점입니다.

예전에는 오류를 물어보려면 화면의 메시지를 옮겨 적고, 어떤 상황이었는지 문장으로 재구성해야 했습니다. 이 과정에서 이미 정보가 손실됩니다. 무엇이 중요한지 사용자가 먼저 판단해서 골라내야 하기 때문입니다. 캡처 한 장을 던지는 방식은 판단을 뒤로 미룰 수 있게 해줍니다. 무엇이 중요한지 모를 때도 일단 물어볼 수 있다는 것, 이것이 실무에서 체감되는 가장 큰 변화입니다.

3) 그런데 왜 시계는 못 읽는가

멀티모달 모델의 능력은 사람의 직관과 다른 순서로 배열돼 있습니다.

앞서 인용한 연구에서 모델들은 아날로그 시계 읽기에 반복적으로 실패했습니다. 연구진은 원인을 두 가지로 짚었습니다. 바늘을 구분해 인식하는 단계와, 바늘의 각도를 방향 정보로 환산하는 단계 모두에서 오류가 생기고, 앞 단계의 오류가 뒤 단계에서 증폭된다는 것입니다. 화살표 모양처럼 흔치 않은 바늘 디자인에서 특히 취약했고, 5,000장을 학습시켜 성적을 끌어올려도 처음 보는 디자인 앞에서는 다시 무너졌습니다(Conde 외, 2025).

이유는 단순합니다. 인터넷에는 "이 시계는 3시 47분을 가리킨다"라고 라벨링된 이미지가 거의 없습니다. 반대로 학술 도표나 차트는 설명 텍스트와 함께 대량으로 존재합니다. 개수 세기, 정밀한 위치 관계, 영상에서의 시간 순서 판단도 같은 이유로 약합니다.

핵심은 인식(recognition)과 판독(reading)의 차이입니다. 모델은 "이것은 시계다"를 아는 것과 "몇 시인지 계산하는 것"이 전혀 다른 작업이라는 사실을 우리에게 상기시킵니다. 화면에 무엇이 있는지 알아보는 능력과, 거기서 정확한 값을 뽑아내는 능력은 별개로 발달합니다.

4) 한국어 환경은 어디까지 왔나

국내에서도 2025~2026년에 걸쳐 멀티모달 모델이 본격화됐습니다.

• LG AI연구원 엑사원 4.5(2026년 4월 공개): 이미지와 텍스트를 함께 이해하는 비전-언어 모델로, 계약서·기술 도면·재무제표 같은 복합 문서 해석을 겨냥했습니다. 330억 파라미터 규모이며 차트QA 프로에서 62.2점을 기록한 것으로 발표됐고, 허깅페이스에 오픈 웨이트로 공개됐습니다(LG AI연구원, 2026).
• 네이버 하이퍼클로바X OMNI(2025년 12월 공개): 텍스트·이미지·음성을 입력과 출력 양쪽에서 다루는 옴니 모델 방향으로, 기존 비전-언어 모델에 음성을 결합한 트랙과 처음부터 세 모달리티를 통합 학습한 트랙을 함께 공개했습니다(네이버 클로바, 2025).

필자 의견: 국내 모델의 방향이 '문서'에 집중돼 있다는 점은 눈여겨볼 만합니다. 한국 기업 업무의 상당 부분이 스캔된 계약서, 손으로 표시된 도면, 관공서 양식 같은 한국어 비정형 문서를 다루는 일이고, 여기서는 글로벌 모델의 일반 성능보다 한국어 문서에 대한 특화가 더 직접적인 성과로 이어질 가능성이 있습니다. 오픈 웨이트로 공개된 모델이라면 외부 반출이 어려운 문서를 내부에서 처리하는 선택지도 열립니다.

---

실전 활용법 — 보여주고 물어보는 7가지 원칙

① 설명하지 말고 찍어서 보여준다

오류 메시지, 설정 화면, 영수증, 손으로 그린 도식 — 문장으로 옮기는 과정에서 손실이 발생하는 모든 것은 그냥 캡처해서 올리는 편이 낫습니다. 무엇이 중요한지 몰라도 됩니다. 그 판단을 AI에게 넘기는 것이 멀티모달의 가장 큰 이점입니다.

② 이미지만 던지지 말고 역할과 목적을 함께 준다

"이거 뭐야?"는 가장 낭비되는 질문입니다. 같은 이미지라도 목적에 따라 봐야 할 곳이 완전히 달라집니다.

"첨부한 화면은 결제 단계에서 나온 오류입니다. 사용자가 다음에 무엇을 눌러야 하는지, 그리고 개발자에게 전달할 때 어떤 정보를 함께 보내야 하는지 나눠서 알려주세요."

③ 표·차트는 '숫자를 먼저 옮겨 적게' 시킨다

차트나 표 이미지를 해석시킬 때, 곧바로 결론을 요구하면 오독을 알아챌 방법이 없습니다. 읽은 값을 표로 먼저 출력하게 한 뒤 해석을 요청하면, 사용자가 중간 단계에서 오류를 잡아낼 수 있습니다.

"먼저 그래프에서 읽은 값을 연도별 표로 정리해 출력하고, 그다음 줄에서 해석을 이어가세요."

④ 개수·시각·정밀 위치는 기본적으로 의심한다

몇 개인지, 몇 시인지, 무엇이 무엇의 왼쪽에 있는지 — 이 세 가지는 현재 모델의 대표적 약점입니다. 답을 받았다면 사람이 직접 세어 확인하는 것을 원칙으로 삼는 편이 안전합니다. 1편에서 다룬 검증 원칙이 여기서도 그대로 적용됩니다.

⑤ 잘라서 올린다

전체 스크린샷 한 장보다, 관심 영역만 잘라낸 이미지가 정확도가 높습니다. 해상도가 제한된 상태에서 화면 전체를 넣으면 정작 중요한 글자가 뭉개집니다. 여러 장으로 나눠 순서대로 올리는 것도 좋은 방법입니다.

⑥ 실패가 예상되는 입력은 다시 찍는다

기울어진 사진, 그림자가 진 문서, 저해상도 손글씨는 프롬프트를 아무리 다듬어도 개선되지 않습니다. 프롬프트 엔지니어링보다 재촬영이 빠른 경우가 실무에서는 훨씬 많습니다. 문서는 정면에서, 그림자 없이, 한 장에 한 페이지가 원칙입니다.

⑦ 음성·영상은 '요약'이 아니라 '인용'을 요구한다

긴 회의 녹음이나 영상을 다룰 때, 요약만 받으면 검증할 수 없습니다. 근거가 되는 발언과 그 위치(타임스탬프)를 함께 표기하도록 요구하면 확인 가능한 결과물이 됩니다. 영상에서의 시간 순서 판단은 아직 취약한 영역이라, 이 습관이 특히 중요합니다.

---

시사점

멀티모달의 실질적 수혜 영역은 화려한 이미지 생성이 아니라 문서 처리일 가능성이 높습니다. 국내 기업 업무에는 스캔본 계약서, 수기 메모가 덧붙은 도면, PDF로 굳어버린 재무 자료처럼 텍스트로 추출되지 않는 자료가 대량으로 쌓여 있습니다. 그동안 이 자료들은 사람이 눈으로 읽어 옮겨 적는 것 외에 방법이 없었습니다.

국내 모델들이 계약서·도면·재무제표 해석을 전면에 내세우는 것도 이 지점을 겨냥한 것으로 보입니다. 다만 도입을 검토할 때는 벤치마크 점수보다 자사 문서로 직접 테스트한 결과가 훨씬 중요합니다. 앞서 본 시계 사례가 보여주듯, 모델의 실력은 난이도가 아니라 학습 데이터 분포를 따라가기 때문입니다. 사내 양식처럼 세상에 몇 백 장밖에 없는 문서 형식이라면, 공개 벤치마크 성적은 참고치 이상이 되기 어렵습니다.

---

전망 & 주목할 변수

• 개선 변수 — 화면을 보는 에이전트: AI가 화면을 직접 보고 조작하는 방향으로 확장되면서, 시각 인식은 '부가 기능'에서 '실행의 전제 조건'으로 위상이 바뀌고 있습니다. 이 경우 요구되는 정확도의 기준도 함께 올라갑니다.
• 리스크 변수 — 검증 난이도의 상승: 텍스트 답변은 사람이 읽어서 이상을 감지할 수 있지만, "이 도면에서 이 치수를 읽었다"는 주장은 원본을 직접 대조하지 않으면 확인할 수 없습니다. 입력이 풍부해질수록 검증 비용은 오히려 커집니다.
• 체크포인트: ① MMMU-Pro처럼 지름길을 차단한 벤치마크에서의 개선 폭 ② 한국어 비정형 문서에 특화된 공개 평가셋 등장 여부 ③ 오픈 웨이트 국내 모델의 온프레미스 도입 사례 축적

---

결론

1. 눈을 뜬 것이 아니라 통역사가 사라진 것이다. 이미지와 소리를 텍스트로 번역하던 중간 단계가 없어지면서, 그동안 버려지던 정보가 모델에 도달하기 시작했습니다.
2. AI의 시각 능력은 난이도가 아니라 데이터 분포를 따른다. 대학 전공 도표는 읽지만 벽시계는 못 읽습니다. 어렵고 쉬움에 대한 사람의 직관으로 예측하면 반드시 틀립니다.
3. 활용의 핵심은 '설명 대신 제시'와 '중간 단계 요구'다. 옮겨 적지 말고 그대로 보여주되, 읽어낸 값을 먼저 출력하게 해서 검증 가능한 형태로 만드는 것 — 이 두 가지가 멀티모달을 실무에서 안전하게 쓰는 최소 조건입니다.

참고자료

• MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI (Yue 외, CVPR 2024)
• MMMU-Pro Benchmark Leaderboard — Artificial Analysis
• MMMU Benchmark: 11,500 Multimodal Questions, Frontier Above 70%
• Large Language Models Struggle With Reading Clocks — IEEE Spectrum (2025)
• GPT-4o — Wikipedia
• "이미지·텍스트 통합 추론"…LG AI연구원, '엑사원 4.5' 공개 — ZDNet Korea (2026)
• HyperCLOVA X OMNI: 국가대표 AI, 옴니모델을 향한 여정 — 네이버 클로바 기술블로그 (2025)