모든 AI 모델의 성공은 시스템에 공급되는 데이터의 품질에 달려 있습니다. ML 시스템은 많은 양의 데이터에서 실행되지만 어떤 데이터로도 성능을 기대할 수 없습니다. 그것은 할 필요가있다 고품질 AI 훈련 데이터. AI 모델의 출력이 확실하고 정확해야 하는 경우, 말할 필요도 없이 시스템 교육을 위한 데이터는 높은 수준이어야 합니다.
AI 및 ML 모델이 훈련된 데이터는 비즈니스에서 의미 있고 관련성 있는 통찰력을 이끌어 낼 수 있는 최고의 품질이어야 합니다. 그러나 방대한 양의 이기종 데이터를 조달하는 것은 기업에 과제를 안겨주고 있습니다.
기업은 이러한 문제에 대응하기 위해 프로세스에서 엄격한 데이터 품질 관리 조치를 구현하는 Shaip과 같은 제공업체에 의존해야 합니다. 또한 Shaip에서는 진화하는 과제를 해결하기 위해 시스템을 지속적으로 혁신하고 있습니다.
Shaip의 데이터 품질 관리 소개
Shaip에서 우리는 신뢰할 수 있는 훈련 데이터의 중요성과 ML 모델 개발 및 AI 기반 솔루션의 결과에서 데이터가 차지하는 부분을 이해합니다. 직원의 기술을 선별하는 것 외에도 직원의 지식 기반 및 개인 개발 개발에도 똑같이 집중하고 있습니다.
우리는 교육 데이터가 품질 벤치마크를 충족하도록 프로세스의 모든 수준에서 구현된 엄격한 지침과 표준 운영 절차를 따릅니다.
품질 경영
우리의 품질 관리 워크플로는 기계 학습 및 AI 모델을 제공하는 데 중요한 역할을 했습니다. 피드백-인-루프를 통해 당사의 품질 관리 모델은 과학적으로 테스트된 방법으로, 고객을 위해 여러 프로젝트를 성공적으로 제공하는 데 중요한 역할을 했습니다. 당사의 품질 감사 프로세스 흐름은 다음과 같은 방식으로 진행됩니다.
- 계약 검토
- 감사 체크리스트 만들기
- 문서 소싱
- 소싱 2계층 감사
- 주석 텍스트 조정
- 주석 2계층 감사
- 작업 전달
- 고객 피드백
크라우드소싱 작업자 선택 및 온보딩
우리의 엄격한 작업자 선택 및 온보딩 프로세스는 다른 경쟁업체와 차별화됩니다. 우리는 품질 체크리스트를 기반으로 가장 숙련된 주석가만을 선에 데려오기 위해 정확한 선택 프로세스를 수행합니다. 우리는 다음을 고려합니다:
- 그들의 기술과 경험이 우리의 요구 사항과 일치하는지 확인하기 위해 텍스트 중재자로서의 이전 경험.
- 생산성, 품질 및 출력이 프로젝트 요구 사항과 동등하다는 것을 보장하기 위한 이전 프로젝트의 성능.
- 특정 업종에 대한 특정 작업자를 선택하려면 광범위한 도메인 지식이 필요합니다.
우리의 선택 과정은 여기서 끝나지 않습니다. 작업자의 자격과 성과를 확인하기 위해 샘플 주석 테스트를 실시합니다. 재판 실적, 이견 분석, Q&A 등을 종합해 선발한다.
작업자가 선택되면 프로젝트 필요에 따라 Project SOW, 지침, 샘플링 방법, 자습서 등을 사용하여 철저한 교육 세션을 받게 됩니다.
데이터 수집 체크리스트
XNUMX중 품질 검사를 실시하여 고품질 교육 데이터 다음 팀으로 넘어갑니다.
레벨 1: 품질 보증 확인
Shaip의 QA 팀은 데이터 수집을 위해 레벨 1 품질 검사를 수행합니다. 그들은 모든 문서를 확인하고 필요한 매개변수에 대해 신속하게 검증합니다.
레벨 2: 중요 품질 분석 확인
자격이 있고 경험이 풍부하고 자격을 갖춘 리소스로 구성된 CQA 팀은 소급 샘플의 나머지 20%를 평가합니다.
데이터 소싱 품질 체크리스트 항목 중 일부는 다음과 같습니다.
- URL 소스가 인증되고 데이터 웹 스크래핑을 허용합니까?
- 편향을 피할 수 있도록 후보 URL에 다양성이 있습니까?
- 콘텐츠의 관련성이 검증되었습니까?
- 콘텐츠에 중재 카테고리가 포함되어 있습니까?
- 우선순위 도메인이 적용됩니까?
- 문서 유형 배포를 염두에 두고 문서 유형이 출처입니까?
- 각 중재 클래스에는 최소 볼륨 슬래브가 포함되어 있습니까?
- Feedback-in-loop 프로세스를 따랐습니까?
데이터 주석 체크리스트
데이터 수집과 유사하게 데이터 주석에 대한 품질 체크리스트의 두 계층도 있습니다.
레벨 1: 품질 보증 확인
이 프로세스는 팀과 클라이언트가 설정한 품질 매개변수에 대해 문서의 100%가 올바르게 검증되도록 합니다.
레벨 2: 중요 품질 분석 확인
이 프로세스를 통해 소급 샘플의 15~20%도 검증되고 품질이 보장됩니다. 이 단계는 품질 관리 및 블랙 벨트 보유자에서 최소 10년의 경험을 가진 자격을 갖춘 경험이 풍부한 CQA 팀이 수행합니다.
CQA 팀은 다음을 보장합니다.- 사용자에 의한 텍스트 중재의 일관성
- 각 문서에 올바른 구문 및 중재 클래스가 사용되었는지 확인
- 메타데이터 확인
우리는 또한 다음을 기반으로 매일 피드백을 제공합니다. 파레토 분석 그들의 성능이 클라이언트의 요구 사항과 동등하다는 것을 확인합니다.
하위 XNUMX분위수 관리를 사용하여 성능이 가장 낮은 주석에 초점을 맞추기 위해 또 다른 계층의 성능 분석을 적용했습니다. 또한 최종 배송 전에 샘플 위생 검사가 완료되었는지 확인합니다.
매개변수 임계값
프로젝트 지침 및 클라이언트 요구 사항에 따라 90~95% 매개변수 임계값이 있습니다. 우리 팀은 더 높은 품질 관리 표준을 보장하기 위해 다음 방법 중 하나를 수행할 준비가 되어 있고 경험이 있습니다.
- F1 Score 또는 F Measure – 두 분류자의 성능을 판단하기 위해 – 2* ((Precision * Recall)/ (Precision + Recall))
- DPO 또는 Defects per Opportunity 방법은 결함을 기회로 나눈 비율로 계산됩니다.
샘플 감사 체크리스트
Shaip의 샘플 감사 체크리스트는 프로젝트와 클라이언트의 요구 사항을 충족하도록 맞춤화할 수 있는 완전한 사용자 지정 절차입니다. 클라이언트로부터 받은 피드백을 바탕으로 수정될 수 있으며, 충분한 논의를 거쳐 확정됩니다.
- 언어 확인
- URL 및 도메인 확인
- 다양성 확인
- 언어 및 중재 클래스당 볼륨
- 타겟 키워드
- 문서 유형 및 관련성
- 유독성 문구 체크
- 메타데이터 확인
- 일관성 검사
- 주석 클래스 확인
- 클라이언트의 기본 설정에 따른 기타 필수 검사
CQA 팀은 다음을 보장합니다.우리는 모든 AI 기반 모델이 데이터 기반임을 이해하기 때문에 데이터 품질 표준을 유지하기 위해 엄격한 조치를 취합니다. 그리고, 가지고 고품질 교육 데이터 모든 AI 및 기계 학습 모델의 필수 요소입니다. 고품질 교육 데이터의 중요성과 AI 모델의 성능 및 성공에 대한 중요성을 이해합니다.