---
title: "11. AI가 지어낸 판례를 그대로 인용하면 생기는 일"
url: https://blog.tyrano.dev/ai%EA%B0%80-%EC%A7%80%EC%96%B4%EB%82%B8-%ED%8C%90%EB%A1%80%EB%A5%BC-%EA%B7%B8%EB%8C%80%EB%A1%9C-%EC%9D%B8%EC%9A%A9%ED%95%98%EB%A9%B4-%EC%83%9D%EA%B8%B0%EB%8A%94-%EC%9D%BC
lang: ko
site: Tech AI News - 테카이
category: "이건 알고 쓰자"
tags: ["AI","AI 할루시네이션","법률 AI","출처 검증","학술 부정","전문직 책임"]
published: 2026-10-26T07:11:25.428Z
updated: 2026-10-26T07:11:25.428Z
sources:
  - https://www.abajournal.com/web/article/lawyers-who-doubled-down-and-defended-chatgpts-fake-cases-must-pay-5k-judge-says
  - https://www.malaymail.com/news/tech-gadgets/2026/06/16/do-your-job-global-courts-face-rising-tide-of-ai-generated-fake-cases-and-quotes/223865
  - https://edrm.net/2025/07/when-ai-policies-fail-the-ai-sanctions-in-johnson-v-dunn-and-what-they-mean-for-the-profession/
  - https://retractionwatch.com/2026/05/07/one-in-277-pubmed-indexed-papers-in-2026-shows-fabricated-references-says-analysis/
  - https://404media.co/chicago-sun-times-prints-ai-generated-summer-reading-list-with-books-that-dont-exist/
---

# 11. AI가 지어낸 판례를 그대로 인용하면 생기는 일

> AI가 지어낸 판례를 법원에 냈다가 제재받는 변호사는 해마다 늘어나고 있습니다. 법원이 처벌하는 것은 'AI를 썼다'는 사실이 아니라, 그 결과를 확인하지 않고 그대로 제출했다는 사실입니다.

---

## 배경 / 왜 지금 이 주제인가

2023년 6월, 뉴욕 연방법원 판사 P. 케빈 캐스틸은 변호사 스티븐 슈워츠와 피터 로두카에게 각 5,000달러의 제재금을 부과했습니다. ChatGPT가 지어낸 항공사 소송 판례 여러 건을 그대로 법원에 제출했기 때문입니다. ([ABA Journal](https://www.abajournal.com/web/article/lawyers-who-doubled-down-and-defended-chatgpts-fake-cases-must-pay-5k-judge-says)) 이 사건(Mata v. Avianca)은 'AI 환각 판례' 문제의 시작점으로 불리지만 끝은 아니었습니다.

HEC 파리 연구원 다미앵 샤를로탱이 운영하는 AI 환각 사례 데이터베이스는 법원이 AI가 지어낸 내용을 실제로 인용한 것으로 확인한 사건만 모읍니다. 이 집계는 2025년 중반 약 200건에서 2026년 6월 35개국 1,600건으로, 1년 만에 8배 가까이 늘었습니다. ([Malay Mail](https://www.malaymail.com/news/tech-gadgets/2026/06/16/do-your-job-global-courts-face-rising-tide-of-ai-generated-fake-cases-and-quotes/223865)) 변호사들이 몰라서 이러는 게 아닙니다. AI 환각은 이미 널리 알려진 위험인데도 같은 실수가 반복됩니다.

같은 패턴은 법률 밖에서도 보입니다. 학술 논문의 가짜 인용, 언론 기사의 가짜 서적 추천까지 — "AI가 그럴듯하게 지어낸 것을 사람이 확인 없이 내보냈다"는 구조는 동일합니다.

## 핵심 데이터 & 현황

| 분야 | 사례 | 결과·조치 | 시점 |
|---|---|---|---|
| 법률(미국) | Mata v. Avianca | 변호사 2명 각 5,000달러 제재 | 2023.06 |
| 법률(미국) | Johnson v. Dunn (N.D. Ala.) | 로펌 변호사 3명 공개 견책·사건 참여 배제·주 변호사협회 징계 요청 | 2025.07 |
| 법률(전 세계) | AI 환각 사례 데이터베이스(샤를로탱, 크라우드소싱 집계) | 35개국 누적 1,600건 | 2026.06 |
| 학술 출판 | PubMed 색인 논문 랜싯 분석 | 논문 277건 중 1건에 가짜 인용 포함(2023년 2,828건 중 1건에서 급증) | 2026.05 |
| 언론 | 시카고 선타임스 여름 추천도서 특집 | 추천 도서 15권 중 10권이 실존하지 않는 책으로 확인, 특집 삭제·사과 | 2025.05 |

> 해석: 법률·학술·언론 세 분야 모두 "AI가 만든 결과물이 그럴듯해서 확인을 건너뛰었다"는 같은 실패로 귀결됩니다. 분야마다 처벌·대응 방식은 다르지만 원인은 하나입니다.

## 심층 분석

### 1) 처벌의 기준선은 'AI를 썼다'가 아니라 '확인하지 않았다'

Johnson v. Dunn 사건에서 판사 애나 매너스코는 ChatGPT가 지어낸 인용 5건이 포함된 서면을 낸 변호사 3명에게 공개 견책과 사건 참여 배제, 주 변호사협회 징계 요청까지 포함한 제재를 내렸습니다. 해당 로펌은 이미 자체 AI 사용 정책과 경고 절차를 갖추고 있었는데도 이 일이 벌어졌습니다. ([EDRM](https://edrm.net/2025/07/when-ai-policies-fail-the-ai-sanctions-in-johnson-v-dunn-and-what-they-mean-for-the-profession/)) 법원은 변호사들이 AI 도구를 쓴 것 자체를 문제 삼지 않았습니다. 서면에 담긴 내용의 진위를 확인할 의무를 저버린 것, 법원은 이를 "진술의 진실성을 확인하지 않은 무모함"으로 규정했습니다.

이 기준은 미국 연방민사소송규칙(Rule 11)의 서면 서명 책임 원칙과 맞닿아 있습니다. 변호사는 법원에 내는 모든 서면의 내용을 합리적으로 조사했다고 서명으로 보증합니다. AI가 초안을 썼든 사람이 직접 썼든, 서명한 사람이 지는 책임은 같습니다.

### 2) 왜 반복되는가 — '그럴듯함'의 함정

AI가 지어낸 판례는 사건명, 연도, 법원, 인용 형식까지 실제 판례와 똑같은 틀을 갖추고 나옵니다. 내용만 가짜일 뿐 형식은 완벽해서, 평소 하던 방식대로 훑어보면 걸러지지 않습니다. 샤를로탱의 데이터베이스에는 본인이 직접 소송을 수행하는 '프로세(pro se)' 소송인의 사례가 많이 섞여 있지만, 변호사가 제출한 사례도 꾸준히 포함돼 있습니다. 법률 지식이 있는 전문가조차 같은 실수를 반복한다는 뜻입니다.

더 근본적인 문제는 확인에 드는 비용이 실제로는 크지 않다는 데 있습니다. 판례 하나가 실재하는지는 공식 판례 데이터베이스에서 사건명과 인용 번호만 검색해도 몇 분 안에 확인됩니다. 법원이 거듭 재발 방지를 요구하는 이유도 여기에 있습니다 — 확인이 어려워서가 아니라, 확인하는 단계 자체를 생략했기 때문입니다.

### 3) 법률만의 문제가 아니다 — 학술지와 언론의 같은 실패

의학·과학 학술지에서도 같은 구조의 문제가 커지고 있습니다. 랜싯(Lancet)에 실린 한 분석은 PubMed에 색인된 논문 약 250만 건을 검토해, 2026년 들어 가짜 인용이 포함된 논문의 비율이 2023년보다 10배 넘게 늘었다고 보고했습니다. ([Retraction Watch](https://retractionwatch.com/2026/05/07/one-in-277-pubmed-indexed-papers-in-2026-shows-fabricated-references-says-analysis/)) 한 학술지는 게재 논문의 각주 117개를 전부 대조한 뒤 6건이 AI가 지어낸 인용이라는 사실을 확인했고, 그 가짜 인용이 모두 1차 심사 이후 추가됐다는 점까지 밝혀내 논문을 철회했습니다.

언론에서도 비슷한 사고가 있었습니다. 2025년 시카고 선타임스에 실린 여름 추천 도서 특집은 15권 중 10권이 존재하지 않는 책이었습니다. 외부 콘텐츠 제공사가 프리랜서 작가에게 맡긴 기사였고, 작성자는 AI가 만든 목록을 검증하지 않고 그대로 넘겼다고 인정했습니다. ([404 Media](https://404media.co/chicago-sun-times-prints-ai-generated-summer-reading-list-with-books-that-dont-exist/)) 세 분야의 사고 구조는 같습니다. AI가 만든 결과물을, 최종적으로 이름을 걸고 내보내는 사람이 확인하지 않았다는 것입니다.

### 4) '확인하지 않았다'가 왜 처벌 대상이 되는가

변호사·연구자·기자라는 직업이 성립하는 이유는 결과물의 정확성을 그 사람이 보증하기 때문입니다. AI는 그 보증을 대신해 줄 수 없습니다. AI가 만든 초안은 어디까지나 초안이고, 이름을 걸고 내보내는 순간 책임은 전적으로 사람에게 넘어갑니다.

분석: 법원과 학술지가 "AI를 썼는지"보다 "확인했는지"를 따지는 것은, 결국 이 보증 책임이 누구에게 있는지를 다시 확인하는 절차에 가깝습니다. AI가 일을 얼마나 많이 떠맡았는지는 책임 소재를 바꾸지 않습니다.

## 실전 — 출처를 직접 확인하기 전엔 인용하지 않는다

1. AI가 제시한 인용·수치·사례는 원문을 직접 열어 확인하기 전까지 '존재하지 않는 것'으로 취급합니다. 형식이 정확해 보여도 예외는 없습니다.
2. 인용이 실재해도 끝이 아닙니다. 그 자료가 실제로 내가 주장하려는 내용을 지지하는지 원문에서 직접 대조합니다. 실재하는 판례를 엉뚱한 맥락에 가져다 쓴 경우도 제재 대상이 된 사례가 있습니다.
3. AI에게 "이거 진짜 존재하는 거 맞아?"라고 재질문하지 않습니다. 같은 모델이 지어낸 근거를 또 지어내 "맞다"고 답할 수 있습니다. 확인은 반드시 1차 자료에서 합니다.
4. 확인할 시간이 없는 항목은 쓰지 않습니다. "~로 알려졌다"로 얼버무리지 말고, 못 확인한 항목은 그냥 뺍니다.
5. 결과물에 이름을 거는 사람이 최종 확인자라는 원칙을 정해 둡니다. AI가 초안을 썼어도 검토·서명한 사람이 책임을 집니다.

## 코멘트
