환각

정의

AI에서 환각은 모델이 유창하지만 사실적으로 부정확하거나 터무니없는 출력을 생성하는 경우를 말합니다. 특히 대규모 언어 모델과 생성 AI에서 흔히 발생합니다.

목적

환각을 연구하면 모델의 신뢰성과 안전성을 향상시키는 데 도움이 됩니다. 이를 통해 개발자는 부정확한 출력을 감지하고 줄이기 위한 안전 장치를 설계할 수 있습니다.

중요성

• 이 문제가 해결되지 않으면 AI에 대한 신뢰가 감소합니다.
• 의료나 법률과 같은 민감한 분야에 해를 끼칠 수 있습니다.
• 현재 생성 모델의 한계를 강조합니다.
• 사실 기반 연구 및 검색 방법을 연구합니다.

운영 방식 (How It Works)

1. 모델은 프롬프트나 쿼리를 받습니다.
2. 사실 검증이 아닌 학습된 패턴을 기반으로 출력을 생성합니다.
3. 그럴듯하게 들리지만 틀린 결과가 나올 수도 있습니다.
4. 탐지 및 수정 기술이 적용됩니다(예: RAG).

예시(실제 세계)

• ChatGPT는 가끔 요청 시 잘못된 사실을 제공합니다.
• Google Bard의 초기 데모에서는 사실과 다른 오류가 드러났습니다.
• AI가 생성한 의학적 조언에는 때때로 부정확한 내용이 포함될 수 있습니다.

참고문헌 / 추가 자료

• “대규모 언어 모델에서 환각 감소” — arXiv 사전 인쇄본.
• NIST AI 위험 관리 프레임워크.
• Mitchell 외. "모델 보고를 위한 모델 카드." ACM FAccT.
• AI 환각의 원인