---
title: "17. 회사 데이터로 AI를 학습시키면 그 데이터를 다시 꺼낼 수 있나 — 모델 역전"
url: https://blog.tyrano.dev/model-inversion-llm-training-data-leak
lang: ko
site: Tech AI News - 테카이
category: "이건 알고 쓰자"
tags: ["AI","AI 보안","모델 역전","파인튜닝","데이터 프라이버시","LLM","OWASP"]
published: 2026-11-09T00:32:49.164Z
updated: 2026-11-09T00:32:49.164Z
sources:
  - https://www.usenix.org/conference/usenixsecurity21/presentation/carlini-extracting
  - https://arxiv.org/abs/2311.17035
  - https://genai.owasp.org/llmrisk/llm02/
  - https://arxiv.org/abs/2508.14062
  - https://arxiv.org/abs/2506.20856
  - https://www.protecto.ai/blog/model-inversion-attacks-in-llms/
---

# 17. 회사 데이터로 AI를 학습시키면 그 데이터를 다시 꺼낼 수 있나 — 모델 역전

> 메일 발신자 이름이나 사내 말투를 흉내 내도록 AI를 사내 메일로 파인튜닝했다면, 그 메일에 적힌 거래처 전화번호나 계약 조건도 모델 안에 함께 들어갑니다. 질문을 바꿔가며 캐묻다 보면 그 번호가 다시 튀어나올 수 있습니다.

---

## 배경 — 왜 지금 이 질문이 나오는가

기업들이 범용 모델의 답변 품질을 끌어올리려고 상담 로그, 계약서, 사내 코드, 인사 기록 같은 내부 데이터로 모델을 추가 학습(파인튜닝)시키는 사례가 늘고 있습니다. 여기서 자연스럽게 나오는 질문이 "이 데이터가 모델 가중치 안에 그대로 저장되는 건가, 그렇다면 나중에 다시 꺼낼 수 있는 건가"입니다.

이 우려는 가설이 아닙니다. 연구자들은 가중치나 학습 인프라에 전혀 접근하지 않고, 오직 질의-응답만 반복해 공개 서비스에서 학습 데이터를 실제로 끌어낸 사례를 여러 차례 보여줬습니다. [Google DeepMind 등 공동연구팀의 2023년 11월 논문](https://arxiv.org/abs/2311.17035)은 ChatGPT에 특정 단어를 끝없이 반복시키는 단순한 공격만으로 학습 데이터를 추출해냈다고 보고했습니다.

문제는 기업이 직접 파인튜닝한 모델이라면 이런 공격의 대상이 "인터넷에서 긁어모은 방대한 데이터"가 아니라 "우리 회사의 좁고 구체적인 데이터"가 된다는 점입니다. 그리고 많은 기업이 "우리는 가중치를 직접 다루지 않고 API만 호출한다"는 이유로 이 위험에서 자유롭다고 가정합니다.

## 핵심 데이터 & 현황

| 사례 / 연구 | 결과 | 출처 |
|---|---|---|
| GPT-2 추출 검증 | 후보 1,800개 중 600개 이상이 실제 학습 데이터와 정확히 일치(최고 설정 67%), 이름·전화번호·이메일 등 공개 개인정보 포함 | Carlini 등, USENIX Security 2021 |
| ChatGPT(gpt-3.5-turbo) 반복 공격 | 약 200달러어치 질의만으로 10,000개 이상의 verbatim 학습 데이터 추출, 2023.8.30 OpenAI에 신고 후 패치 | Nasr 등(Google DeepMind 포함 공동연구), 2023.11 arXiv |
| 파인튜닝 중 민감 레코드 반복 노출 | 같은 민감 레코드를 반복 노출시키면 유출률이 기준 0~5%에서 60~75%로 상승 | arXiv 2508.14062, 2025 |
| LoRA 파인튜닝 비교 | 풀 파인튜닝과 성능은 비슷하게 유지하면서 기억 위험은 유의미하게 낮춤(다만 고급 추출 공격까지 막는지는 미검증) | arXiv 2506.20856, 2025 |

> 해석: 네 사례 모두 공격자가 모델 내부(가중치)나 원본 데이터베이스에 접근하지 않았다는 공통점이 있습니다. 질의-응답만 반복해도 통계적으로 학습 데이터를 복원할 수 있다는 뜻이며, "API만 쓰니 안전하다"는 가정이 성립하지 않는 이유이기도 합니다.

## 심층 분석

### 1) 모델 역전(model inversion)은 정확히 무엇인가

모델 역전은 원본 데이터베이스를 뚫는 공격이 아닙니다. 공격자가 모델에 반복적으로 질의를 던지고 그 출력(또는 출력 확률)을 분석해, 학습에 쓰인 원본 데이터를 추론하거나 재구성하는 방식입니다. [OWASP GenAI Security Project](https://genai.owasp.org/llmrisk/llm02/)는 이를 "학습 데이터가 드러나면 모델이 역전 공격에 노출될 수 있다"고 설명하며, 공개된 학습 데이터가 모델 추출·역전으로 이어져 실제 이메일 필터를 우회하게 만든 CVE-2019-20634 사례를 예로 듭니다.

비슷하지만 더 약한 개념인 멤버십 추론(membership inference)은 "이 데이터가 학습에 쓰였는가"만 확인하는 데 그치지만, 모델 역전은 그 내용 자체를 복원하려는 시도라는 점에서 한 단계 더 나아간 위험입니다.

### 2) 파인튜닝이 위험을 왜 더 키우나

범용 사전학습 모델은 수십억 개의 다양한 문서로 학습되기 때문에, 특정 문장 하나가 모델 전체에 미치는 영향이 희석됩니다. 반면 기업이 자체 데이터로 파인튜닝할 때 쓰는 데이터셋은 상대적으로 작고 좁습니다. 같은 고객 기록이나 계약 조건이 데이터셋 안에서 반복될수록 모델이 그 특정 레코드를 "암기"할 확률이 가파르게 오릅니다. 실제로 민감 레코드를 파인튜닝 과정에서 반복 노출시킨 실험에서는 유출률이 기준 0~5%에서 60~75%까지 뛰었습니다.

AI 데이터 프라이버시 기업 Protecto는 이를 모델 자체의 결함이 아니라 아키텍처 문제로 규정합니다. "원본 고객 기록, 직원 정보, 기밀 문서가 학습 파이프라인에 들어가면(if raw customer records, employee information, or confidential documents enter training pipelines) 향후 프라이버시 노출 가능성을 만든다"는 것입니다. 모델을 아무리 정교하게 다뤄도, 애초에 민감한 원본 데이터가 그대로 들어간다면 위험은 설계 단계에서부터 심어지는 셈입니다.

### 3) API 뒤에 숨겨진 블랙박스도 안전하지 않다

"우리는 모델 가중치를 직접 다루지 않고 API로만 호출한다"는 전제는 안전을 보장하지 않습니다. ChatGPT에서 학습 데이터를 추출한 공격은 모델 내부 구조에 대한 어떤 접근도 없이, 오직 공개 API에 텍스트를 입력하고 출력을 받아보는 것만으로 이뤄졌습니다. 사내 파인튜닝 모델을 자체 API 뒤에 숨겨뒀다고 해도 똑같은 원리가 적용됩니다. 공격에 필요한 것은 가중치 접근이 아니라 질의 접근뿐입니다.

### 4) 완전한 차단은 어렵다 — 완화는 트레이드오프다

차등 프라이버시처럼 학습 과정에 노이즈를 더해 개별 샘플의 영향을 줄이는 기법은 효과가 있지만 모델 정확도를 함께 떨어뜨립니다. 레이트 리밋은 대량 추출에 드는 비용과 시간을 끌어올려 공격을 비현실적으로 만들 수 있지만, 적은 수의 질의로 특정 정보만 캐묻는 표적형 공격은 요청 수 임계치 아래에 머물러 그대로 통과합니다.

분석: 결국 한 가지 장치로 끝내는 설계는 없습니다. 학습 데이터를 통제하는 단계, 출력을 걸러내는 단계, 질의 패턴을 지켜보는 단계를 겹겹이 쌓아야 전체 위험이 줄어드는 구조입니다.

## 실전 — 사내 데이터로 AI를 학습시킬 때 확인할 5가지 원칙

1. **학습 파이프라인에 들어가기 전에 민감 정보를 제거·마스킹한다.**
   고객 정보, 직원 정보, 계약 조건처럼 특정인을 가려낼 수 있는 데이터는 토큰화하거나 익명화한 뒤에 파인튜닝 데이터셋에 넣습니다.
2. **같은 민감 레코드가 반복 노출되지 않도록 중복을 제거한다.**
   반복 노출은 기억 위험을 선형이 아니라 급격하게 키우므로, 중복 제거만으로도 효과가 큽니다.
3. **가능하면 전체 파인튜닝보다 LoRA 같은 파라미터 효율적 방식을 먼저 검토한다.**
   성능은 비슷하게 유지하면서 기억 위험을 낮출 수 있지만, 고급 추출 공격까지 막아준다고 단정하지는 않습니다.
4. **모델 출력에도 패턴 매칭 기반 필터링을 걸어 둔다.**
   학습 단계만 통제하지 말고, 응답이 사용자에게 나가기 전 단계에서도 전화번호·계좌번호 같은 패턴을 탐지해 걸러냅니다.
5. **"API만 호출하니 안전하다"는 가정을 버리고 질의 패턴을 모니터링한다.**
   레이트 리밋은 대량 추출의 비용을 높이지만 표적형 공격은 피해 가므로, 요청 수뿐 아니라 질의 패턴 자체를 보는 탐지를 함께 둡니다.

## 코멘트
