사전 교육

정의

사전 학습은 특정 작업에 대한 세부 조정을 하기 전에 대규모 범용 데이터 세트에 대한 머신 러닝 모델의 초기 학습을 의미합니다.

목적

목적은 다운스트림 적응에 필요한 데이터와 컴퓨팅 요구 사항을 줄여 다양한 작업으로 전환할 수 있는 광범위한 표현을 갖춘 모델을 제공하는 것입니다.

중요성

• 현대 LLM과 비전 모델의 기초.
• 다양한 작업에서 성과를 향상시킵니다.
• 데이터와 계산 측면에서 비용이 많이 듭니다.
• 편향을 피하기 위해 신중한 데이터세트 큐레이션이 필요합니다.

운영 방식 (How It Works)

1. 방대한 일반 데이터 세트(텍스트, 이미지)를 수집합니다.
2. 지도되지 않은 학습이나 자기 지도 학습 작업을 정의합니다.
3. 일반적인 기능을 학습하도록 모델을 훈련합니다.
4. 사전 훈련된 가중치를 재사용을 위해 저장합니다.
5. 더 작은 작업별 데이터 세트를 세부적으로 조정합니다.

예시(실제 세계)

• Wikipedia와 BooksCorpus에서 사전 학습된 BERT.
• 이미지-텍스트 쌍으로 훈련된 CLIP.
• 대규모 인터넷 텍스트에 대해 사전 학습된 GPT 모델입니다.

참고문헌 / 추가 자료

• Devlin 외. “BERT: 딥 양방향 변압기 사전 학습.” NAACL 2019.
• Radford 외. "언어 모델은 단시간 학습자입니다." NeurIPS 2020.
• OpenAI GPT-4 기술 보고서.