아마존 AI 채용 도구가 여성을 걸러낸 이유 — 편향은 어디서 왔나
목차
이력서를 1~5점으로 채점하는 AI 채용 도구를 만들었던 아마존은, 그 도구가 "women's"라는 단어만 봐도 감점한다는 사실을 발견하고 2017년 초 프로젝트를 접었다.
한눈에 보기
| 항목 | 내용 |
|---|---|
| 기업/기관 | 아마존(Amazon) |
| 산업군 | 이커머스·클라우드(인사·채용 조직) |
| 도입 AI 기술 | 지원자 이력서 자동 평가 머신러닝 모델(1~5점 스코어링) |
| 개발·중단 시점 | 2014년경 개발 시작 → 2015년 성별 편향 발견 → 2017년 초 프로젝트 폐기(2018년 10월 로이터 보도로 외부에 알려짐) |
| 핵심 결과 | 신뢰할 수준으로 편향을 제거하지 못해 실전 배치 전 폐기 |
배경 — 어떤 문제가 있었나
아마존은 전 세계 사업장에 쏟아지는 대량의 지원서를 사람이 하나씩 검토하는 데 드는 시간을 줄이고 싶었습니다. Reuters 보도를 인용한 CNBC에 따르면 2014년경 아마존의 에딘버러 엔지니어링 허브에서 약 12명 규모의 팀이 이 작업에 투입됐습니다. 목표는 지원자의 이력서를 자동으로 읽고 1~5점으로 점수를 매겨, 채용담당자가 상위 점수 지원자부터 검토할 수 있게 만드는 것이었습니다.
웹 전반의 후보자를 찾아내는 기능까지 포함한 야심 찬 프로젝트였지만, 결과적으로 가장 먼저 문제가 된 것은 가장 기본적인 단계, 즉 "누구를 좋은 지원자로 볼 것인가"를 학습시키는 과정이었습니다.
어떻게 도입했나
모델은 아마존에 접수된 과거 10년치 지원서 데이터를 학습 데이터로 사용했습니다. 이 방식 자체는 당시 채용 AI의 일반적인 접근이었습니다 — 과거에 뽑힌 사람들의 이력서 패턴을 학습해 "합격자와 비슷한 지원자"를 찾아내는 구조입니다.
문제는 테크 업계의 구조적 성비 불균형이 그대로 학습 데이터에 담겨 있었다는 점입니다. Reuters 보도와 이를 재구성한 Built In 의 설명에 따르면 10년치 지원서의 대다수가 남성이었고, 모델은 이 비율을 "남성 지원자가 더 합격에 가깝다"는 패턴으로 그대로 학습했습니다. 그 결과 다음과 같은 평가가 나타났습니다.
- "women's chess club captain"처럼 "women's"라는 단어가 들어간 이력서를 감점
- 여성 전용 대학 2곳의 졸업자를 낮게 평가(학교명은 보도에서 공개되지 않음)
- "executed", "captured"처럼 남성 엔지니어들의 이력서에 더 자주 등장하는 동사를 쓴 지원자를 선호
누구도 "여성을 걸러내라"는 규칙을 짠 적이 없습니다. 모델은 단지 과거 데이터에서 반복된 상관관계를 그대로 재현했을 뿐입니다.
성과 & 결과
- 발견 시점: 2015년, 채용담당자들이 도구의 추천이 성별 중립적이지 않다는 점을 알아챘습니다(Fortune, 2018).
- 교정 시도: 엔지니어들은 "women's" 같은 특정 단어·학교명에 대한 감점을 없애는 방식으로 수정했습니다.
- 교정의 한계: 특정 패턴을 지워도 모델이 다른 표현 방식을 통해 또 다른 형태의 성차별적 결과를 재생산할 가능성을 배제할 수 없었습니다. 즉 겉으로 드러난 증상만 고쳤을 뿐, 데이터에 새겨진 구조적 편향 자체를 없애지는 못한 것입니다.
- 최종 결정: 아마존은 2017년 초 이 프로젝트를 폐기했고, 이 사실은 2018년 10월 로이터의 익명 소식통 보도로 외부에 알려졌습니다. 아마존은 "해당 도구가 채용 담당자의 평가에 실제로 쓰인 적은 없다"고 밝혔습니다.
해석: 중요한 것은 "폐기했다"는 결과가 아니라 "왜 교정이 끝내 성공하지 못했는가"입니다. 민감 변수(성별 관련 단어·학교명)를 지워도, 그 변수와 상관관계가 있는 다른 변수(단어 선택 습관 등)가 대리 신호로 남아 편향을 우회적으로 되살릴 수 있다는 것이 이 사건이 보여준 핵심 구조입니다.
핵심 원인
- 학습 데이터가 세상의 불균형을 그대로 담고 있었다. 테크 업계 지원자 성비가 애초에 남성 편중이었다면, "과거 패턴을 학습하는" 모델은 그 불균형을 중립적 사실이 아니라 "선호되는 특징"으로 받아들입니다.
- 민감 변수를 지워도 대리 변수가 남는다. 성별이라는 변수를 직접 지워도, 성별과 상관관계가 있는 다른 신호(특정 동사, 특정 학교)가 모델 안에 여전히 남아 비슷한 차별 효과를 낼 수 있습니다.
- "완전히 신뢰할 수 없다"는 기준으로 중단을 결정했다. 아마존이 평가할 만한 지점은, 부분적으로 고친 상태로 운영에 들어가는 대신 신뢰 가능한 수준의 중립화에 이르지 못하자 배치 전에 중단했다는 점입니다.
한계 & 과제
이 사건은 "편향 제거 = 민감 변수 제거"라는 흔한 통념이 틀렸다는 것을 보여줍니다. 또한 아마존 사례에서 볼 수 있듯, 성별 편향은 이 도구가 가진 문제 중 하나였을 뿐 — 보도에 따르면 애초에 데이터 품질 자체의 문제로 자격 미달 지원자가 추천되는 경우도 있었다고 전해집니다. 즉 편향 감사는 "특정 민감 속성 하나"만 확인해서는 충분하지 않고, 모델이 실제로 어떤 대리 신호에 의존하는지까지 들여다봐야 합니다.
우리 조직에 적용한다면
- 대기업: 뉴욕시는 2023년부터 자동화된 채용 도구에 연 1회 독립 편향 감사와 결과 공개를 의무화하는 Local Law 144를 시행 중입니다. 단, DLA Piper 가 소개한 2025년 12월 뉴욕주 감사 결과는 집행 체계 자체에 공백이 있다고 지적했습니다 — 법이 있다고 안심할 게 아니라, 자체적으로 정기 감사 체계를 갖춰야 한다는 뜻입니다.
- 중소기업·스타트업: 자체 편향 감사 역량을 갖추기 어렵다면, 채용 AI 벤더에게 편향 감사 리포트 제공을 요구하거나, AI 점수를 최종 합격·불합격이 아니라 "검토 순서를 정하는 보조 신호"로만 쓰는 것이 현실적인 대안입니다.
- 한국: 2026년 시행된 AI기본법은 사람의 생명·신체 안전과 기본권에 중대한 영향을 줄 수 있는 11개 분야를 "고영향 AI"로 규정했고, 보도에 따르면 채용·대출 분야가 이 목록에 포함된 것으로 소개됩니다. 채용에 AI 평가 도구를 쓰는 조직이라면 해당 여부와 그에 따른 사전 고지 등의 의무를 점검해 볼 필요가 있습니다.
참고 링크
목차
관련 글
듀오링고는 왜 'AI 퍼스트' 선언을 되돌렸나
듀오링고 CEO의 'AI 퍼스트' 메모는 업무 효율화 선언이었지만 구성원과 이용자에게는 해고 선언으로 읽혔다. 거센 반발 뒤 입장을 수정한 과정은 AI 도입을 발표할 때 내부 설득과 외부 공개의 순서가 왜 중요한지를 보여준다.
질로우는 왜 자기 AI 가격 모델을 믿다가 수억 달러를 잃었나
2021년 질로우는 자체 AI 가격 모델을 과신해 수억 달러를 잃고 아이바잉 사업을 접었다. 현장 직원의 경고가 묵살된 거버넌스 공백과, 같은 리스크에서도 보수적으로 대응해 살아남은 Opendoor의 대조를 짚는다.
맥도날드가 AI 드라이브스루를 접은 이유 — 음성 AI 도입의 함정
맥도날드가 IBM과 2년 반 시범 운영한 AI 음성 드라이브스루 주문을 접은 사례를 통해, 목표 정확도 미달과 바이럴 오류 영상이 신뢰를 무너뜨린 과정, 파일럿 설계에서 반드시 점검해야 할 체크포인트를 함께 정리합니다.
에어캐나다 AI 챗봇 오안내 사건 — 책임은 누가 지나
2024년 에어캐나다는 자사 챗봇이 안내한 사별 운임 정보가 틀렸다며 책임을 거부했지만, 캐나다 심판소는 챗봇도 웹사이트의 일부라며 기업 책임을 인정했다. AI를 고객 응대에 투입하기 전 기업이 점검해야 할 지점을 짚어본다.