정의
AI 편향이란 왜곡된 데이터, 잘못된 설계, 또는 데이터 세트에 반영된 사회적 불평등으로 인해 발생하는 AI 출력의 체계적인 오류를 의미합니다. 이는 불공정하거나 차별적인 결과로 이어질 수 있습니다.
목적
편향 연구의 목적은 AI 시스템의 불공정성을 파악하고 완화하는 것입니다. 조직들은 이러한 문제를 해결함으로써 더욱 공평한 모델을 구축하고자 합니다.
중요성
- 해결되지 않으면 고용, 대출, 의료 분야에서 차별이 발생합니다.
- AI 시스템에 대한 신뢰를 훼손합니다.
- 민감한 산업에서는 규정 준수가 필요합니다.
- 공정성 및 책임감 있는 AI 관행과 관련이 있습니다.
작동 원리
- 편향의 잠재적 원인을 파악합니다(데이터 수집, 라벨링, 모델링).
- 불균형을 파악하기 위해 데이터 세트를 분석합니다.
- 공정성을 고려한 훈련 방법을 적용하세요.
- 공정성 지표를 포함한 테스트 결과입니다.
- 필요한 경우 설계를 조정하고 재교육하세요.
예시(실제 세계)
- COMPAS 위험성 평가 도구: 인종적 편견으로 비판받음.
- Amazon 채용 알고리즘: 성별 편견으로 인해 폐기됨.
- 얼굴 인식: 특정 인구통계학적 집단을 잘못 분류하는 것으로 알려져 있습니다.
참고문헌 / 추가 자료
- AI 편향 - NIST.
- 공정성과 머신 러닝 - 바로카스, 하트, 나라야난(책).
- 알고리즘 편향 - ACM FAccT 학회 회의록.
- 다양한 AI 학습 데이터: 편향 제거의 핵심
