정의
지도 미세 조정(SFT)은 특정 작업을 위해 레이블이 지정된 데이터에 대해 사전 학습된 모델을 학습하고 매개변수의 일부 또는 전부를 조정하는 프로세스입니다.
목적
목적은 일반 용도 모델을 더 나은 정확도로 특수 작업에 적용하는 것입니다.
중요성
- NLP 및 비전 작업의 핵심 기술입니다.
- 고품질의 라벨이 지정된 데이터가 필요합니다.
- 작은 데이터 세트에서는 과적합의 위험이 있습니다.
- 종종 RLHF의 전조증상입니다.
작동 원리
- 선행 학습된 모델을 선택합니다.
- 대상 작업에 대한 레이블이 지정된 데이터를 수집합니다.
- 지도 학습으로 모델을 훈련합니다.
- 보류된 테스트 세트에서 검증합니다.
- 배포하고 성능을 모니터링합니다.
예시(실제 세계)
- GPT는 고객 서비스 대화를 세부적으로 조정했습니다.
- 명명된 엔터티 인식을 위해 미세 조정된 BERT.
- 의료 이미지 분류에 맞춰 미세 조정된 비전 변환기.
참고문헌 / 추가 자료
- Devlin 외. “BERT: 딥 양방향 변압기 사전 학습.” NAACL 2019.
- 허깅 페이스 트랜스포머 문서.
- 스탠포드 CS224N: 딥러닝을 활용한 NLP.
- SFT란 무엇인가? 왜 중요한가?
