자연어 처리, 생성형 인공지능 및 언어 학습 교육을 위한 텍스트 주석 서비스

텍스트 어노테이션은 이메일, 채팅 기록, 지원 티켓, 진료 기록, 법률 계약서, 소셜 미디어 게시물과 같은 비정형 텍스트에 레이블을 지정하여 자연어 처리(NLP) 및 대규모 언어 모델(LLM)이 패턴을 학습할 수 있도록 하는 과정입니다. 고품질의 어노테이션된 학습 데이터가 없으면 아무리 강력한 모델 아키텍처라도 성능이 저하됩니다.

Shaip에서는 네 가지 핵심 작업, 즉 모델을 처음부터 학습시키는 작업, 오픈 소스 LLM을 미세 조정하는 작업, 모델 출력을 평가하는 작업, 그리고 인간 피드백을 활용한 지속적인 강화 학습(RLHF)을 실행하는 작업을 위해 주석이 달린 텍스트 데이터셋을 구축합니다. 모든 데이터셋은 해당 분야 전문가가 주석을 달고, 식스 시그마 교육을 받은 QA 검토자가 이중으로 검토하며, 학습 파이프라인에서 요구하는 스키마로 제공됩니다.