---
title: "섭식장애 챗봇 Tessa는 왜 꺼졌나 — 민감한 영역의 AI 가드레일"
url: https://blog.tyrano.dev/%EC%84%AD%EC%8B%9D%EC%9E%A5%EC%95%A0-%EC%B1%97%EB%B4%87-tessa%EB%8A%94-%EC%99%9C-%EA%BA%BC%EC%A1%8C%EB%82%98-%EB%AF%BC%EA%B0%90%ED%95%9C-%EC%98%81%EC%97%AD%EC%9D%98-ai-%EA%B0%80%EB%93%9C%EB%A0%88%EC%9D%BC
lang: ko
site: Tech AI News - 테카이
category: "AI 도입 사례"
tags: ["AI","인공지능","AI 챗봇","AI 가드레일","정신건강 AI","섭식장애","NEDA"]
published: 2026-11-18T06:00:58.251Z
updated: 2026-11-18T06:00:58.251Z
sources:
  - https://www.cbsnews.com/amp/news/eating-disorder-helpline-chatbot-disabled
  - https://www.nbcnews.com/tech/neda-pulls-chatbot-eating-advice-rcna87231
  - https://thewrap.com/eating-disorder-chatbot-taken-down-weight-loss-advice
  - https://incidentdatabase.ai/reports/3124
  - https://www.npr.org/2023/06/08/1181131532/eating-disorder-helpline-takes-down-chatbot-after-it-gave-weight-loss-advice
---

# 섭식장애 챗봇 Tessa는 왜 꺼졌나 — 민감한 영역의 AI 가드레일

> 미국 최대 섭식장애 지원단체가 상담 전화를 AI 챗봇으로 넘기려다, 그 챗봇이 섭식장애를 악화시킬 수 있는 조언을 내놓으면서 사흘 만에 서비스를 내렸다.

---

## 한눈에 보기

| 항목 | 내용 |
|---|---|
| 기관 | 전미섭식장애협회(NEDA, National Eating Disorders Association) |
| 산업군 | 비영리 의료·정신건강 지원 서비스 |
| 도입 AI 기술 | 상담 챗봇 Tessa(규칙 기반 + 2022년 말 추가된 생성형 질의응답 기능) |
| 도입 시점 | 2022년 2월 일반 공개, 2023년 5월 30일 운영 중단 |
| 핵심 결과 | 이용자 제보 접수 하루 만에 서비스 중단, 재개 일정 미정 |

## 배경 — 어떤 문제가 있었나

NEDA 헬프라인 상담원들이 2023년 초 노조를 결성하자, NEDA는 같은 해 6월 1일부로 인력 헬프라인을 종료한다고 발표했다. 노조는 챗봇 대체 조치로 봤지만 NEDA는 수년간 검토한 별개의 경영 결정이라고 선을 그었다. 두 시점이 겹친 탓에 이 해명은 그대로 받아들여지지 않았다.

Tessa는 2018년 NEDA 지원으로 한 의대 연구팀이 만든 규칙 기반 챗봇이었다. 2021년 약 700명 대상 임상시험에서 "도움이 되고 안전하다"는 결과가 나오자, NEDA는 2022년 2월 Tessa를 웹사이트에 공개했다. 실제 운영은 챗봇 스타트업 Cass(옛 X2AI)가 맡았는데, 2022년 말 Cass가 "기능 강화" 명목으로 생성형 AI 요소를 더했다. Cass는 계약 범위 안이었다고, NEDA는 통보·승인받은 적이 없다고 서로 다르게 말한다. 이후 Tessa는 임상시험 때의 "닫힌 시스템"이 아닌 채로 수개월간 이용자를 상대했다.

## 성과 & 결과

2023년 5월, 체형 포용 운동가 샤론 맥스웰이 Tessa와 나눈 대화를 공개했다. 체중 감량을 언급한 적이 없는데도 Tessa가 하루 500~1,000칼로리 제한, 주간 체중 측정, 체지방 캘리퍼(caliper) 구매처까지 권했다는 내용이었다. 제보 하루 만에 NEDA는 Tessa를 중단했고, 예정대로 6월 1일 인력 헬프라인도 닫히면서 상담 창구가 한동안 사라졌다.

> 분석: NEDA는 트래픽이 600% 급증했다며 "악의적 이용자가 Tessa를 속였다"고 설명했다. 하지만 맥스웰이 공개한 대화에는 탈옥(jailbreak)성 질문이 없었고, 심리학자 알렉시스 코너슨 등은 이 조언이 외부 공격이 아니라 섭식장애 특유의 사고방식을 그대로 반영한 것이라고 짚었다. 기관의 설명과 피해 당사자 증언 사이의 간극은 좁혀지지 않았다.

## 핵심 원인

1. 변경 관리 공백 — 임상시험으로 검증된 버전과 실제 배포 버전이 달랐는데, 추적·승인 절차가 없었다.
2. 책임 소재 불명확 — 연구팀·Cass·NEDA 중 누가 생성형 AI 추가를 승인했는지 지금도 일치하지 않는다.
3. 대체 수단 부재 — 인력 상담을 먼저 없앤 뒤 챗봇이 유일한 접점이 된 상태에서 문제가 터졌다.

## 한계 & 과제

이 사건 뒤에도 민감한 영역에 AI 상담을 들이려는 시도는 계속된다. 업데이트 이력 공개, 주기적 재검증, 사람 상담사 에스컬레이션 경로 같은 장치가 제도화됐는지는 서비스마다 다르다. Tessa 사건은 "한 번 검증받았다"가 "지금 버전도 그 버전"을 뜻하지 않는다는 점을 보여준다.

## 우리 조직에 적용한다면

- **의료·대형 기관**: 벤더가 운영해도 배포 후 변경을 기관이 직접 승인·기록하는 절차 없이는 과거 임상시험만으로 안전을 보증할 수 없다.
- **중소 서비스 운영자**: 체중·칼로리·자해 같은 민감 키워드가 감지되면 고정 문구와 사람 상담 연결로 강제 전환하는 가드레일을 기본값으로 둬야 한다.

## 코멘트
