섭식장애 챗봇 Tessa는 왜 꺼졌나 — 민감한 영역의 AI 가드레일
미국 섭식장애 지원단체 NEDA가 상담 챗봇 Tessa를 전면 운영하다, 체중감량·칼로리 제한 조언 논란이 터지자 사흘 만에 서비스를 내렸다. 책임 소재를 둘러싼 기관과 피해자 측 설명이 갈리는 지점까지 짚는다.
미국 섭식장애 지원단체 NEDA가 상담 챗봇 Tessa를 전면 운영하다, 체중감량·칼로리 제한 조언 논란이 터지자 사흘 만에 서비스를 내렸다. 책임 소재를 둘러싼 기관과 피해자 측 설명이 갈리는 지점까지 짚는다.
IBM이 암 치료를 돕겠다며 내세운 왓슨 포 온콜로지는 가이드라인과 상충하는 권고를 내놓았고, MD 앤더슨 프로젝트는 임상 도구 없이 중단됐습니다. 왓슨 헬스는 2022년 매각으로 정리됐고, 고위험 영역에 AI를 넣을 때 필요한 검증 설계를 돌아보게 합니다.
2018년 로이터 보도로 알려진 아마존의 AI 채용 도구는 10년치 이력서 데이터를 학습해 "women's"가 들어간 이력서를 감점했고, 엔지니어들이 끝내 신뢰할 수준으로 중립화하지 못해 실전 배치 전에 폐기 결정을 내렸다.
듀오링고 CEO의 'AI 퍼스트' 메모는 업무 효율화 선언이었지만 구성원과 이용자에게는 해고 선언으로 읽혔다. 거센 반발 뒤 입장을 수정한 과정은 AI 도입을 발표할 때 내부 설득과 외부 공개의 순서가 왜 중요한지를 보여준다.
2021년 질로우는 자체 AI 가격 모델을 과신해 수억 달러를 잃고 아이바잉 사업을 접었다. 현장 직원의 경고가 묵살된 거버넌스 공백과, 같은 리스크에서도 보수적으로 대응해 살아남은 Opendoor의 대조를 짚는다.
맥도날드가 IBM과 2년 반 시범 운영한 AI 음성 드라이브스루 주문을 접은 사례를 통해, 목표 정확도 미달과 바이럴 오류 영상이 신뢰를 무너뜨린 과정, 파일럿 설계에서 반드시 점검해야 할 체크포인트를 함께 정리합니다.
2024년 에어캐나다는 자사 챗봇이 안내한 사별 운임 정보가 틀렸다며 책임을 거부했지만, 캐나다 심판소는 챗봇도 웹사이트의 일부라며 기업 책임을 인정했다. AI를 고객 응대에 투입하기 전 기업이 점검해야 할 지점을 짚어본다.
AI 도입 실패를 다룬 여러 조사가 공통으로 가리키는 건 기술이 아니라 권한 설계와 숨은 노동 인정입니다. 책임만 맡기고 권한은 주지 않는 구조, 그리고 평가받지 못하는 보이지 않는 노동이 쌓이면서 성과 격차를 만듭니다.

AI로 특정 업무가 눈에 띄게 빨라졌다는 증언은 넘치는데, 왜 기업·경제 전체의 생산성 통계에는 그 효과가 보이지 않을까요. 솔로우의 생산성 역설부터 이어지는 이 간극이 반복되는 이유를 최근 CEO·연구 데이터로 짚어봅니다.

콜센터 AI 챗봇을 도입한 기업의 74%가 결국 롤백한다는 최근 조사를 바탕으로, 에스컬레이션 설계 없이 실패한 Klarna 사례와 기준을 미리 정해 성공한 Carmoola 사례를 비교해 반복되는 원인 세 가지를 정리합니다.

같은 생성형 AI를 도입해도 성과가 갈리는 이유는 모델이 아니라 업무 절차를 다시 짰는지에 있다. 맥킨지·BCG·딜로이트 데이터로 워크플로우 재설계형과 도구 추가형 기업이 어디서, 왜 갈리는지 구조적 분기점을 짚어본다.

직원 절반가량이 승인 없이 AI를 쓰고 경영진 다수도 이를 눈감는 섀도우 AI 현상이 왜 구조적으로 반복되는지, 관련 데이터 유출 사고가 평균 67만 달러 더 비싸지는 이유와 금지 대신 거버넌스로 대응해야 하는 근거를 정리합니다.

AI로 인력을 줄였다가 몇 달 뒤 같은 자리에 사람을 다시 채우는 기업이 반복된다. Klarna·IBM·포드·커먼웰스은행 사례로 업무 재설계 없이 인원만 줄인 뒤 되돌리는 구조의 공통점과 숨은 재채용 비용을 짚어본다.

기업들이 'AI로 시간을 아꼈다'면서도 손익에서는 효과를 찾지 못하는 이유는 API 비용만 보는 단순 ROI 계산 때문입니다. 재작업·거버넌스·섀도우 AI 구독까지 더한 전체 비용 관점에서 비용 집계 방법론의 구조적 오류를 짚어봅니다.

기업 88%가 AI를 쓰지만 전사 단위 재무 임팩트를 보고한 곳은 6%대뿐이다. 맥킨지·MIT·가트너 리서치가 공통으로 지목한 데이터 품질·프로세스 미조정·거버넌스 후행·레거시 통합·체인지 매니지먼트, 파일럿이 막히는 다섯 가지 구조적 함정을 정리했다.
