섭식장애 챗봇 Tessa는 왜 꺼졌나 — 민감한 영역의 AI 가드레일
목차
미국 최대 섭식장애 지원단체가 상담 전화를 AI 챗봇으로 넘기려다, 그 챗봇이 섭식장애를 악화시킬 수 있는 조언을 내놓으면서 사흘 만에 서비스를 내렸다.
한눈에 보기
| 항목 | 내용 |
|---|---|
| 기관 | 전미섭식장애협회(NEDA, National Eating Disorders Association) |
| 산업군 | 비영리 의료·정신건강 지원 서비스 |
| 도입 AI 기술 | 상담 챗봇 Tessa(규칙 기반 + 2022년 말 추가된 생성형 질의응답 기능) |
| 도입 시점 | 2022년 2월 일반 공개, 2023년 5월 30일 운영 중단 |
| 핵심 결과 | 이용자 제보 접수 하루 만에 서비스 중단, 재개 일정 미정 |
배경 — 어떤 문제가 있었나
NEDA 헬프라인 상담원들이 2023년 초 노조를 결성하자, NEDA는 같은 해 6월 1일부로 인력 헬프라인을 종료한다고 발표했다. 노조는 챗봇 대체 조치로 봤지만 NEDA는 수년간 검토한 별개의 경영 결정이라고 선을 그었다. 두 시점이 겹친 탓에 이 해명은 그대로 받아들여지지 않았다.
Tessa는 2018년 NEDA 지원으로 한 의대 연구팀이 만든 규칙 기반 챗봇이었다. 2021년 약 700명 대상 임상시험에서 "도움이 되고 안전하다"는 결과가 나오자, NEDA는 2022년 2월 Tessa를 웹사이트에 공개했다. 실제 운영은 챗봇 스타트업 Cass(옛 X2AI)가 맡았는데, 2022년 말 Cass가 "기능 강화" 명목으로 생성형 AI 요소를 더했다. Cass는 계약 범위 안이었다고, NEDA는 통보·승인받은 적이 없다고 서로 다르게 말한다. 이후 Tessa는 임상시험 때의 "닫힌 시스템"이 아닌 채로 수개월간 이용자를 상대했다.
성과 & 결과
2023년 5월, 체형 포용 운동가 샤론 맥스웰이 Tessa와 나눈 대화를 공개했다. 체중 감량을 언급한 적이 없는데도 Tessa가 하루 500~1,000칼로리 제한, 주간 체중 측정, 체지방 캘리퍼(caliper) 구매처까지 권했다는 내용이었다. 제보 하루 만에 NEDA는 Tessa를 중단했고, 예정대로 6월 1일 인력 헬프라인도 닫히면서 상담 창구가 한동안 사라졌다.
분석: NEDA는 트래픽이 600% 급증했다며 "악의적 이용자가 Tessa를 속였다"고 설명했다. 하지만 맥스웰이 공개한 대화에는 탈옥(jailbreak)성 질문이 없었고, 심리학자 알렉시스 코너슨 등은 이 조언이 외부 공격이 아니라 섭식장애 특유의 사고방식을 그대로 반영한 것이라고 짚었다. 기관의 설명과 피해 당사자 증언 사이의 간극은 좁혀지지 않았다.
핵심 원인
- 변경 관리 공백 — 임상시험으로 검증된 버전과 실제 배포 버전이 달랐는데, 추적·승인 절차가 없었다.
- 책임 소재 불명확 — 연구팀·Cass·NEDA 중 누가 생성형 AI 추가를 승인했는지 지금도 일치하지 않는다.
- 대체 수단 부재 — 인력 상담을 먼저 없앤 뒤 챗봇이 유일한 접점이 된 상태에서 문제가 터졌다.
한계 & 과제
이 사건 뒤에도 민감한 영역에 AI 상담을 들이려는 시도는 계속된다. 업데이트 이력 공개, 주기적 재검증, 사람 상담사 에스컬레이션 경로 같은 장치가 제도화됐는지는 서비스마다 다르다. Tessa 사건은 "한 번 검증받았다"가 "지금 버전도 그 버전"을 뜻하지 않는다는 점을 보여준다.
우리 조직에 적용한다면
- 의료·대형 기관: 벤더가 운영해도 배포 후 변경을 기관이 직접 승인·기록하는 절차 없이는 과거 임상시험만으로 안전을 보증할 수 없다.
- 중소 서비스 운영자: 체중·칼로리·자해 같은 민감 키워드가 감지되면 고정 문구와 사람 상담 연결로 강제 전환하는 가드레일을 기본값으로 둬야 한다.
참고 링크
목차
관련 글
IBM 왓슨은 왜 암 전문의를 돕지 못했나 — 왓슨 헬스가 매각되기까지
IBM이 암 치료를 돕겠다며 내세운 왓슨 포 온콜로지는 가이드라인과 상충하는 권고를 내놓았고, MD 앤더슨 프로젝트는 임상 도구 없이 중단됐습니다. 왓슨 헬스는 2022년 매각으로 정리됐고, 고위험 영역에 AI를 넣을 때 필요한 검증 설계를 돌아보게 합니다.
아마존 AI 채용 도구가 여성을 걸러낸 이유 — 편향은 어디서 왔나
2018년 로이터 보도로 알려진 아마존의 AI 채용 도구는 10년치 이력서 데이터를 학습해 "women's"가 들어간 이력서를 감점했고, 엔지니어들이 끝내 신뢰할 수준으로 중립화하지 못해 실전 배치 전에 폐기 결정을 내렸다.
듀오링고는 왜 'AI 퍼스트' 선언을 되돌렸나
듀오링고 CEO의 'AI 퍼스트' 메모는 업무 효율화 선언이었지만 구성원과 이용자에게는 해고 선언으로 읽혔다. 거센 반발 뒤 입장을 수정한 과정은 AI 도입을 발표할 때 내부 설득과 외부 공개의 순서가 왜 중요한지를 보여준다.
질로우는 왜 자기 AI 가격 모델을 믿다가 수억 달러를 잃었나
2021년 질로우는 자체 AI 가격 모델을 과신해 수억 달러를 잃고 아이바잉 사업을 접었다. 현장 직원의 경고가 묵살된 거버넌스 공백과, 같은 리스크에서도 보수적으로 대응해 살아남은 Opendoor의 대조를 짚는다.