인체 주요 지점 주석
샤이프는 36개의 주요 지점으로 구성된 전신 스키마를 사용하여 150,000만 프레임의 이미지 및 비디오 데이터에 주석을 달았습니다. 이 스키마는 얼굴 특징점(머리, 눈, 귀, 코, 턱)과 골격 관절(어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목)을 결합하여 자세 추정, 동작 분석, 피트니스 추적 및 의료 동작 AI를 구현합니다.
사업 개요
자세 추정 및 인간 동작 AI가 상용화 단계로 접어들면서, 고객은 다양한 실제 환경에서 해부학적으로 정확한 전신 주요 지점 정보를 포함하여 150,000만 프레임의 이미지 및 비디오 데이터에 라벨을 지정할 수 있는 확장 가능한 주석 프레임워크를 필요로 했습니다.
샤이프는 키포인트 배치, 다각도 포즈 처리, 가림 현상 관리 및 구조화된 품질 보증을 포괄하는 엔드 투 엔드 주석 파이프라인을 구축하여 36포인트 바디 스키마 제공을 지원하고 일관된 일일 처리량으로 모델 사용 준비가 완료된 데이터 세트를 생성했습니다.
주요 상태
프레임에 주석이 달렸습니다
150,000
핵심 요점 / 본문
36
일일 처리량
30 프레임
플랫폼
CVAT
도전
- 제어된 샘플 워크플로우에서 확장 150,000 프레임 전신 골격 주석
- 유지 보수 해부학적 정밀도 다양한 자세, 시야각, 조명 조건에 걸쳐
- 처리 부분 폐쇄 주요 지점의 정확도를 손상시키지 않고 피사체를 겹치게 할 수 있습니다.
- 조정 얼굴 특징점 + 신체 골격 36개 항목으로 구성된 단일 스키마에 배치
- 유지 주석 작성자 한 명당 하루에 30프레임 팀 전체의 처리량 벤치마크
해법
주석 전략
샤이프는 얼굴의 주요 해부학적 특징점(머리, 눈, 귀, 코, 턱)과 어깨, 팔, 몸통, 엉덩이, 다리의 관절을 포함하는 36개의 핵심 지점으로 구성된 신체 스키마를 설계했습니다. CVAT 플랫폼은 이 스키마로 구성되었고, 일관된 라벨링을 위해 팀 전체에 배포되었습니다.
포즈 및 다양성 처리
이 데이터셋은 다양한 자세, 시점, 조명 조건 및 의복 유형을 가진 다양한 피사체를 의도적으로 포함했습니다. 주석 작성자는 서 있는 자세, 앉아 있는 자세, 웅크린 자세, 누워 있는 자세 및 역동적인 움직임 자세를 동일한 수준의 키포인트 정확도로 처리하기 위해 자세별 지침을 따랐습니다.
폐색 및 예외 상황 규칙
옷 뒤에 가려진 주요 지점, 다른 팔다리에 가려진 신체 부위, 프레임 밖으로 부분적으로 벗어난 피사체 등 부분적인 가림 현상 처리에 엄격한 규칙이 적용되었습니다. 숨겨진 랜드마크는 근사치를 사용하는 대신 가시성 플래그를 사용하여 표시함으로써 후속 자세 추정 모델을 위한 데이터셋의 무결성을 유지했습니다.
처리량 및 생산성 벤치마크
팀은 8.5시간 근무 시간 동안 어노테이터 한 명당 하루에 30개의 승인된 어노테이션 프레임을 처리하는 기준을 유지했습니다. 이 기준은 정확도 목표에 맞춰 조정되었으며, 처리량이 품질을 저하시키지 않도록 했습니다.
품질 보증 워크플로
주석이 달린 모든 프레임은 키포인트 배치 정확도, 가시성 플래그의 정확성, 36포인트 스키마와의 일관성을 포함하는 구조화된 QA 검토를 거쳤습니다. 반려된 프레임은 주석 작성자 수준의 피드백과 함께 수정을 위해 반환되어 지속적인 개선을 도모했습니다.
프로젝트 범위
| 데이터 세트 유형 | 음량 | 키 포인트 | 플랫폼 | 맞춤형 설비 | 연혁 |
|---|---|---|---|---|---|
| 인체 골격 + 주요 특징점 주석 | 150,000 프레임 | 사람 형상당 36개 | CVAT | 주석 작성자당 하루 30프레임 | 수개월 |
결과
- 설립 확장 가능한 36개 키포인트 주석 프레임워크 포즈 추정 제작 교육 준비 완료
- 표준화 해부학적 랜드마크 배치 얼굴 및 골격 부위 전반에 걸쳐
- 유지 하루 30프레임 주석 처리량 정밀도를 손상시키지 않고
- 배달 다양하고 다중 조건 데이터 세트 포즈, 조명, 각도, 의상 종류 등 모든 것을 아우릅니다.
- 클라이언트의 기능을 활성화했습니다. 자세 추정, 동작 분석, 피트니스 트래킹 및 의료 동작 AI 로드맵
전반적으로 Shaip은 150,000만 프레임에 달하는 키포인트 주석 요구 사항을 구조화되고 바로 사용 가능한 파이프라인으로 전환하는 데 도움을 주었으며, 이 파이프라인은 일관된 정확도와 규모로 인간 자세 AI, 피트니스 추적, 동작 진단 및 의료 동작 애플리케이션을 지원할 수 있습니다.
Shaip은 포즈 추정 모델에 필요한 정밀도를 갖춘 키포인트 주석 백본을 제공했습니다. 36포인트 스키마 실행, 가림 처리, 그리고 꾸준한 일일 처리량은 모델 성능 향상으로 직결되었습니다.
