프롬프트 — 같은 질문인데 답이 달라지는 이유 (LLM 비결정성과 프롬프트 민감도 실전 대응법)
어제 완벽했던 프롬프트가 오늘은 엉뚱한 답을 내놓습니다. 원인은 대개 둘 중 하나인데, 둘의 처방이 정반대입니다. 하나는 내가 손댈 수 없는 서버 쪽 무작위성이고, 다른 하나는 내가 만든 프롬프트의 문제입니다.

어제 완벽했던 프롬프트가 오늘은 엉뚱한 답을 내놓습니다. 원인은 대개 둘 중 하나인데, 둘의 처방이 정반대입니다. 하나는 내가 손댈 수 없는 서버 쪽 무작위성이고, 다른 하나는 내가 만든 프롬프트의 문제입니다.

할루시네이션은 AI가 "고장 난" 결과가 아니라, 지금의 학습·평가 방식이 모른다고 말하는 것보다 그럴듯하게 찍는 쪽에 점수를 더 주기 때문에 나타나는 구조적 부작용에 가깝습니다. 원리를 알면 대응법도 달라집니다.

"방금 전에 말씀드렸잖아요." AI에게 이 말을 해본 적 있다면, 컨텍스트 윈도우를 만난 것입니다. AI는 기억력이 나쁜 게 아니라, 애초에 기억이라는 걸 하지 않습니다. 왜 이런 일이 벌어지는지 정리했습니다.

AI 요금표에 적힌 단위는 '글자'도 '단어'도 아닌 '토큰'입니다. 이 차이 때문에 같은 내용을 한국어로 쓰면 영어보다 비싸지고, 가격표는 그대로인데 실제 청구액만 오르는 일도 벌어집니다. 2026년 8월 기준 실제 요금표와 함께 정리했습니다.
