LLM 주석

정의

LLM 주석은 대규모 언어 모델의 학습 및 평가를 위해 특별히 설계된 데이터 레이블링 작업을 말합니다. 여기에는 의도 인식, 엔티티 태그 지정, 선호도 순위 지정 등의 작업이 포함됩니다.

목적

LLM을 인간의 기대에 맞춰 조정하는 고품질 데이터 세트를 생성하는 것이 목적입니다. 주석은 성능을 향상시키고, 편향을 줄이며, 인간의 피드백을 통한 강화 학습을 가능하게 합니다.

중요성

• 대규모 모델에 대한 세부적인 감독을 제공합니다.
• 인간의 검토를 통해 데이터 세트를 큐레이션하여 안전성을 향상시킵니다.
• LLM에 대한 평가 벤치마크를 지원합니다.
• 미세 조정을 위해 선호도 주석과 결합되는 경우가 많습니다.

운영 방식 (How It Works)

1. LLM에 대한 주석 작업(예: 요약, 대화 의도)을 정의합니다.
2. 다양한 원시 텍스트 데이터를 수집합니다.
3. 주석자는 작업에 지침과 범주를 표시합니다.
4. 결과를 집계하고 주석자 간 동의를 보장합니다.
5. 레이블이 지정된 데이터를 사용하여 세부 조정이나 평가를 수행합니다.

예시(실제 세계)

• OpenAI의 RLHF 데이터 세트: 모델 정렬을 위한 선호도 레이블이 지정된 텍스트.
• Anthropic의 헌법적 AI: 더 안전한 대응을 위한 주석이 달린 규칙.
• Hugging Face 데이터 세트: LLM 작업을 위한 커뮤니티에서 큐레이팅한 텍스트 데이터 세트.

참고문헌 / 추가 자료

• 인간 피드백을 통한 강화 학습 — OpenAI.
• 포옹 얼굴 데이터 세트 문서.
• 벤더 & 프리드먼. “자연어 처리를 위한 데이터 진술.” ACL 2018.
• LLM 주석