서비스 로봇 및 체화된 AI를 위한 실내 장면 객체 주석 — 사례 연구
Shaip은 선도적인 로봇 혁신 기업을 위해 포괄적인 실내 장면 주석 작업을 수행했습니다. 이 작업은 공간 관계 태깅을 통해 실내 환경의 모든 객체를 감지하고 라벨링하여 가정, 사무실, 창고 및 의료 시설 전반에 걸쳐 로봇 인식 및 내비게이션 AI를 위한 고품질 데이터 세트를 구축했습니다.
사업 개요
로봇 기술이 가정, 사무실, 창고, 병원 등 실제 현장에 도입됨에 따라, 고객은 로봇 상호 작용 작업에 필요한 풍부한 속성 정보를 갖춘, 밀집된 실내 환경에서 보이는 모든 객체에 라벨을 지정할 수 있는 포괄적인 어노테이션 파이프라인을 필요로 했습니다.
샤이프는 경계 상자 및 다각형 분할, 밀집 객체 포함, 공간 관계 태깅, 반사 표면 처리 등을 포괄하는 엔드 투 엔드 주석 파이프라인을 구축하여 로봇 인식, 내비게이션 및 인간-환경 상호 작용을 위한 모델 준비 데이터 세트를 생성했습니다.
주요 통계
객체/이미지
100s
카테고리
밀집한
행동 양식
상자 + 다각형
속성 레이어
4
도전
- 주석 달기 보이는 모든 물체 물건이 빽빽하게 들어찬 방의 이미지 - 프레임당 수백 개
- 올바른 방법을 선택하는 것 — 경계 상자 분할과 다각형 분할의 차이점 — 객체 복잡성을 기준으로 함
- 포함 작은 물건들 스위치, 플러그, 장식용품 등 로봇과의 상호작용에 필수적인 요소들
- 처리 반사 표면 (거울, 유리 테이블) 유령 주석 없음
- 태그를 공간 관계 상황 인식 로봇 AI를 위한 객체 상태
해법
포괄적인 객체 포함
각 방 이미지 내의 모든 보이는 물체는 가구(의자, 테이블, 소파, 침대, 선반), 가전제품(텔레비전, 냉장고, 전자레인지, 램프), 개인 소지품(가방, 책, 병, 의류), 구조 요소(문, 창문, 벽, 바닥) 및 작은 물건(리모컨, 컵, 접시, 키보드, 스위치, 플러그) 등 광범위한 범주에 걸쳐 개별적으로 주석이 달렸습니다.
객체별 메서드 선택
객체의 모양과 복잡성에 따라 경계 상자 또는 다각형 분할을 사용하여 객체를 정확하게 표시했습니다. 규칙적인 직사각형 객체에는 경계 상자를 사용했고, 유기적인 형태나 밀집된 객체처럼 경계 상자가 과도하게 겹치는 경우에는 다각형을 사용했습니다. 이러한 객체별 방법 선택을 통해 복잡한 장면에서도 깔끔한 경계를 확보할 수 있었습니다.
공간 관계 태깅
주석이 달린 각 객체에는 객체 상태(문과 서랍의 경우 열림 또는 닫힘), 다른 객체와의 근접성 및 위치를 나타내는 공간 관계 태그, 가림 상태, 객체 상태 등을 포함하는 속성이 추가되었습니다. 이러한 공간 지능 계층을 통해 로봇 AI 시스템은 단순히 객체를 감지하는 것을 넘어 맥락을 이해할 수 있습니다.
소형 객체 및 상호 작용 중요 범위
주석 작성자들은 크기에 관계없이 보이는 모든 객체에 라벨을 붙이는 엄격한 포함 규칙을 따랐습니다. 여기에는 로봇 상호 작용 작업에 필수적인 스위치, 플러그, 장식물과 같은 작은 항목도 포함됩니다. 이러한 항목들은 로봇이 작업을 완료할 수 있는지 여부를 결정하는 경우가 많으므로 우선순위를 낮출 수 없었습니다.
반사 표면 처리
거울이나 유리 테이블과 같은 반사 표면은 중복 또는 잘못된 주석을 방지하기 위해 특별한 처리가 필요했습니다. 반사된 객체에 별도의 레이블을 지정할지, 무시할지, 아니면 플래그를 지정할지에 대한 구체적인 지침이 마련되어 있어, 후속 모델이 오류가 포함된 레이블을 학습하지 않도록 했습니다.
프로젝트 범위
| 데이터 세트 유형 | 적용 범위 | 행동 양식 | 카테고리 | Attributes | 특별 취급 |
|---|---|---|---|---|---|
| 실내 장면 객체 주석 | 보이는 모든 물체 | 상자 + 다각형 | 가구, 가전제품, 개인용품, 구조물, 소형 | 4개 레이어(상태, 공간, 가림, 조건) | 반사면 규칙 |
결과
- 설립되었습니다 객체 밀집형 주석 파이프라인 실내 로봇 인식을 위한
- 표준화 객체별 방법 선택 경계 상자와 다각형 분할 사이의 관계
- 배달 공간 관계 태깅 상황 인식을 가능하게 하는 로봇 AI
- 구현 반사 표면 처리 유령 주석을 방지하기 위해
- 클라이언트의 기능을 활성화했습니다. 가정, 창고, 소매점 및 의료 시설 로봇공학 AI 배포
전반적으로 Shaip은 객체가 밀집된 실내 주석 요구 사항을 구조화되고 즉시 사용 가능한 파이프라인으로 변환하는 데 도움을 주었으며, 이 파이프라인은 다양한 실내 배포 환경에서 로봇 내비게이션, 픽앤플레이스 자동화, 스마트 환경 모니터링 및 인간-로봇 상호 작용을 지원할 수 있습니다.
샤이프는 로봇이 방을 보는 방식대로 방에 주석을 달았습니다. 모든 사물, 모든 관계, 중요한 모든 작은 항목까지 포함해서 말이죠. 스위치, 플러그, 반사 표면에 대한 그들의 세심한 주의 덕분에 우리의 인식 모델은 대부분의 데이터 세트가 무시하는 것들을 놓치지 않았습니다.
