19. AI 에이전트가 사고를 내면 책임은 누구에게 있나 — 법인격 없는 행위자
목차
이메일 발송 권한을 받은 AI 에이전트가 수신자를 잘못 지정해 거래처 수천 곳에 내부 문서를 보냈다면, 또는 결제 권한을 받은 에이전트가 승인되지 않은 금액을 결제했다면 — 이 사고의 책임은 AI 가 아니라 그 AI 를 업무에 배치한 조직에게 돌아갑니다. 법은 아직 "AI 에이전트"라는 새로운 개념에 맞춰 다시 쓰이지 않았고, 대신 기존의 대리법·불법행위법·계약법이 그대로 적용되고 있습니다.
배경 — 왜 지금 이 질문이 나오는가
AI 에이전트는 더 이상 답변만 생성하지 않습니다. 이메일 발송, 결제, 외부 API 호출, 문서 제출처럼 되돌리기 어려운 실제 행동을 대신 수행하는 사례가 빠르게 늘고 있습니다. 문제는 이런 행동이 잘못됐을 때 "AI가 알아서 한 일"이라는 말로 조직이 책임을 피할 수 있는지입니다.
이 질문에 각국 규제 기관과 법원이 거의 같은 방향으로 답하고 있습니다. 미국 연방거래위원회(FTC) 위원장 앤드루 퍼거슨은 2026년 9월 25일 로이터 모멘텀 AI 행사에서 "소프트웨어에 행동 권한을 줬다고 해서 그 소프트웨어가 책임의 주체가 되는 것은 아니다"라며, AI 에이전트를 독립된 행위자처럼 다루지 말아야 한다고 밝혔습니다(Unite.AI 보도). 영국에서는 영국 법률관할권 태스크포스(UKJT)가 2026년 7월 "AI 피해에 대한 책임 법적 의견서" 최종본을 내놓으며, AI 시스템에 법인격을 부여하지 않고도 기존 과실책임(negligence) 원칙으로 AI 피해를 다룰 수 있다는 결론을 유지했습니다.
규제 공백을 메우는 입법도 이미 시작됐습니다. 캘리포니아주는 2026년 1월 1일부터 시행된 법으로, 피해를 일으킨 특정 행동을 사람이 직접 승인하지 않았다는 사실만으로는 책임을 면할 수 없다고 못박았습니다(The Lyon Firm 분석). 결국 질문은 "AI가 책임지는가"가 아니라 "AI를 배치한 조직이 어떤 근거로, 어디까지 책임지는가"로 좁혀집니다.
핵심 데이터 & 현황
| 쟁점 | 현황 | 출처 |
|---|---|---|
| 법인격 여부 | 영국 UKJT 최종 의견서(2026.7)는 AI 시스템에 법인격을 부여하지 않는다는 입장을 유지, 과실책임이 주된 해결 경로라고 결론 | UKJT 최종 의견서 (SCL 보도, 2026) |
| 책임 회피 방어의 차단 | 캘리포니아주 법(2026.1.1 시행)은 특정 행동을 사람이 직접 승인하지 않았다는 사실만으로는 책임을 면할 수 없다고 규정 | The Lyon Firm, 2026.4.29 |
| 규제 기관의 공식 입장 | FTC 위원장 퍼거슨, "AI 에이전트를 독립된 행위자로 취급하지 말아야 한다" 발언(2026.9.25, 로이터 모멘텀 AI 행사) | Unite.AI, 2026.9 |
| 법원 선례 | 캐나다 BC주 민사분쟁심판소, 에어캐나다가 "챗봇은 별도 법적 주체"라는 방어를 폈으나 기각(Moffatt v. Air Canada, 2024 BCCRT 149, 2024.2.14) | American Bar Association, 2024.2 |
해석: 네 가지 사례가 가리키는 방향은 하나입니다. "AI가 독립된 책임 주체"라는 방어 논리는 지역과 기관을 가리지 않고 거의 예외 없이 받아들여지지 않고 있습니다. 남은 쟁점은 AI가 아니라 조직 내부의 '누가, 어떤 근거로' 책임지는가입니다.
심층 분석
1) 왜 'AI를 배치한 조직'이 책임을 지는가
대리법(agency law)의 기본 원리는 어떤 주체가 다른 주체를 자기 대신 행동하도록 권한을 줬다면, 그 행동이 권한 범위 안에 있는 한 결과도 권한을 준 쪽이 책임진다는 것입니다. The Lyon Firm 의 분석은 이를 AI 에이전트에 그대로 적용해, 조직이 에이전트를 업무에 투입하고 권한을 부여한 순간부터 "그 권한 범위 안에서 일어난 일"에 대한 책임을 진다고 설명합니다. 특히 노출이 큰 세 가지 유형으로 ▲충분한 검증 없이 고위험 업무에 에이전트를 투입하는 과실 배치, ▲이상 행동을 걸러내지 못하는 과실 감독, ▲에이전트가 제3자와 승인되지 않은 의무를 맺어버리는 계약 위반을 꼽습니다.
2) AI 에이전트는 왜 계약의 당사자가 될 수 없는가
대리법이 성립하려면 대리인에게 '법적 능력'이 있어야 합니다. 상호 합의로 관계를 맺고, 의도를 형성하고, 동의를 주고받을 수 있어야 한다는 뜻입니다. 영국 법무법인 TS&P 의 분석은 AI 시스템이 이 요건을 충족하지 못한다고 봅니다. "AI는 의도를 형성하거나 동의를 주고받을 수 없고, 법적으로 책임을 질 수도 없다"는 것이 핵심 논지입니다. 그래서 AI 모델은 법적으로는 사람이나 사람이 만든 법인격체가 아니라, 개발사가 라이선스나 서비스 형태로 제공하는 소프트웨어·지적재산에 가깝게 취급됩니다. 계약은 AI와 맺는 것이 아니라, AI를 공급하거나 운용하는 사람·기업과 맺는 것입니다.
3) 에어캐나다 판례가 보여주는 '권한 범위' 방어 논리의 실패
이 구도가 실제 사건에서 어떻게 작동했는지 보여주는 선례가 Moffatt v. Air Canada(2024 BCCRT 149) 입니다. 에어캐나다는 자사 챗봇이 잘못된 요금 정보를 안내한 데 대해 "챗봇은 자신의 정보에 책임을 지는 별개의 법적 주체"라고 주장했습니다. 미국변호사협회(ABA) 보도에 따르면 심판부 위원 크리스토퍼 리버스는 이를 받아들이지 않고 "챗봇에 대화형 요소가 있다고 해도, 그것은 여전히 에어캐나다 웹사이트의 일부일 뿐"이라고 판단했습니다. 소액 심판 사건이라 상급심 판례로서 무게는 제한적이지만, "AI를 분리된 책임 주체로 세우는 방어"가 재판부에서 작동하지 않았다는 점에서 이후 여러 분석이 반복해 인용하는 기준점이 됐습니다.
4) 그래도 남는 회색지대 — 권한 범위를 벗어난 행동
조직이 늘 전적으로 책임지는 것은 아닙니다. 대리법의 틀에서는 에이전트가 부여된 권한의 범위를 명백히 벗어난 행동을 했을 때 책임 소재가 복잡해질 수 있습니다. 문제는 AI 에이전트의 '권한 범위'가 사람 직원의 직무 범위보다 훨씬 모호하게 설계되는 경우가 많다는 점입니다. 어떤 API를 호출할 수 있는지는 코드로 정의되지만, "이런 상황에서는 결제하지 말 것" 같은 암묵적 기대까지 코드로 명시해 두지 않으면, 사고가 난 뒤에야 그 행동이 권한 범위 안이었는지 밖이었는지를 두고 다투게 됩니다. 권한 범위를 사전에 구체적으로 문서화해 두는 것이 분쟁 발생 시 조직의 책임 범위를 가르는 실질적 기준이 되는 이유입니다.
실전 — 에이전트에게 행동 권한을 맡길 때 확인할 4가지 원칙
- 권한 범위를 사람이 읽을 수 있는 문서로 남긴다. "이 에이전트는 어떤 계정으로, 어떤 작업을, 어떤 금액·범위까지 수행할 수 있는가"를 코드 설정이 아니라 별도 문서로도 정리해 둡니다. 사고가 났을 때 '권한 범위 안이었는가'를 판단하는 1차 근거가 됩니다.
- 모든 행동의 로그를 남기고 보존한다. 무엇을 언제, 누구의 승인으로 실행했는지가 기록돼 있어야 분쟁에서 조직이 "통제하고 있었다"는 사실을 입증할 수 있습니다. 로그가 없으면 입증 책임을 지는 쪽이 불리해집니다.
- 되돌릴 수 없는 행동에는 예외 없이 사람 승인을 둔다. 이메일 대량 발송, 결제, 계약 체결처럼 취소가 어려운 행동은 권한을 아무리 좁게 줬더라도 최종 확인 단계를 거치게 합니다.
- 벤더·공급사와의 계약에 책임 분배 조항을 넣는다. 에이전트를 공급한 회사와 운용하는 조직 중 누가 어떤 실패에 책임지는지를 계약으로 미리 정해 두지 않으면, 사고 이후 책임이 전부 배치한 조직 쪽으로 쏠리기 쉽습니다.
참고 링크
목차
관련 글
16. AI가 읽는 문서에 숨은 지시문이 있다면 — 보이지 않는 명령어의 위험
AI 에이전트가 읽는 문서 안에 사람 눈에는 안 보이는 지시문이 숨어 있다면, 문서 요약이나 분석을 맡기는 순간 파일이 공격자에게 유출되거나 잘못된 판단으로 이어질 수 있습니다. 실제 보고된 사고 사례와 맡기기 전에 확인할 점검 원칙을 정리했습니다.
15. AI 에이전트 권한을 넓게 주면 왜 위험한가 — 블래스트 래디어스
AI 에이전트에 메일 발송부터 파일 삭제까지 권한을 넓게 열어주면, 작은 오류 하나가 왜 큰 사고로 번지는지를 블래스트 래디어스와 최소 자율성 개념으로 짚고, 되돌릴 수 없는 작업에 확인 단계를 두는 설계 원칙을 정리했습니다.
18. 무료 AI 도구에 올린 코드, 어디로 가는가 — 약관을 볼 것
무료 AI 도구 약관은 흔히 입력 내용을 학습에 쓸 수 있다고 적지만, 유료라고 늘 안전한 것도 아닙니다. OpenAI·Anthropic·Google 사례로 학습 제외와 보안·기밀 유지는 별개 문제이며 약관은 언제든 바뀐다는 점까지 확인해야 하는 이유를 정리했습니다.
17. 회사 데이터로 AI를 학습시키면 그 데이터를 다시 꺼낼 수 있나 — 모델 역전
회사 데이터로 AI를 파인튜닝하면 그 데이터가 모델 안에 남아, 질문을 바꿔가며 캐묻는 질의만으로도 다시 꺼내질 수 있습니다. 모델 역전 공격의 원리와 데이터 정제·중복 제거·출력 필터링 같은 현실적인 완화 방법을 정리했습니다.