자율 주행을 위한 3D LiDAR 바운딩 박스 주석
Shaip은 단일 프레임 포인트 클라우드 데이터에서 14개 객체 클래스에 걸쳐 프레임당 약 53개의 직육면체 경계 상자를 정확하게 주석 처리했으며, 이를 2D 이미지와 비교하여 생산 규모의 자율 주행 차량 인식에 적용했습니다.
사업 개요
자율 주행 인식 기술이 양산 단계로 나아가면서, 고객은 실제 자율 주행 훈련 데이터에 필요한 밀도로 정확한 직육면체 경계 상자를 배치할 수 있는 고도로 전문화된 3D LiDAR 주석 파이프라인을 필요로 했습니다. 이 파이프라인은 다중 속성 레이블링 및 2D 이미지 보정 기능도 포함해야 했습니다.
샤이프는 3D 직육면체 배치, 기본 크기 적용, 다중 속성 레이블링, 환경적 예외 처리 및 참조 이미지 유효성 검사를 포함하는 엔드 투 엔드 주석 파이프라인을 구축하여 14개 객체 클래스에 걸쳐 모델에서 바로 사용할 수 있는 AV 인식 데이터 세트를 제공했습니다.
주요 상태
객체 클래스
14
프레임당 박스 수
~ 53
속성 레이어
5
폐쇄 수준
4
도전
- 전화 걸기 프레임당 약 53개의 3D 직육면체 상자 포인트 클라우드 가장자리에 정확하고 밀착되게
- 처리 14개의 객체 클래스 차량, 보행자, 동물 및 이동 가능한 물체를 가로질러
- 일 2D 캘리브레이션 이미지 및 3D 포인트 클라우드와 동시에 데이터
- 관리 고스트 포인트 클라우드, 지면 반사, 안개, 박무, 물방울
- 시행 클래스별 기본 크기 치수 프레임 간 일관성을 위해
해법
3D 직육면체 배치 워크플로
주석 작성자는 2D 보정 이미지 참조와 동시에 단일 프레임 포인트 클라우드 데이터에 정확한 3D 직육면체 경계 상자를 배치했습니다. 각 클래스에는 프레임 간 크기 일관성을 보장하기 위해 정의된 기본 경계 상자 크기가 제공되었습니다. 자동차는 3.4~5.1m, 트럭은 3.4~14m, 보행자는 0.4~1.2m 너비입니다.
다중 속성 레이블링
경계 상자 배치 외에도, 주석이 달린 모든 객체에는 차량 상태(주행/주차), 이륜차 상태(탑승자 있음/없음), 보행자 상태(서 있음/앉아 있음/누워 있음), 가림 상태(4단계: 없음, 부분, 대부분, 전체), 그리고 사지 상태(돌출된 물체, 열린 문, 부착된 장비)를 포함하는 속성 레이블이 부여되었습니다.
환경적 극한 상황 처리
심하게 가려지거나 멀리 떨어진 물체, 이중 LiDAR 보정 오류로 인한 고스트 포인트 클라우드, 지면 반사, 물방울, 안개 및 박무로 인한 환경 소음 등의 주석 처리에는 엄격한 규칙이 적용되었습니다. 사이드 미러, 열린 문, 크레인 암, 루프랙 및 보행자 짐은 명시적으로 제외되었으며, 비상 사이렌과 트럭 적재함 컨테이너는 포함되었습니다.
꽉 맞는 박스형 검증
박스는 포인트 클라우드 가장자리에 눈에 띄는 틈이 없도록 밀착되도록 제작되었습니다. 포인트 클라우드의 방향이 불분명한 경우에는 보정 데이터와 차선 정보를 통해 방향을 확인했습니다. 야간 및 우천 장면은 주석의 일관성을 유지하기 위해 주간 조건과 동일하게 처리했습니다.
크로스모달 QA
모든 주석은 참조 2D 이미지와 비교하여 크기와 방향이 정확한지 검증했습니다. 이러한 교차 모달 QA 계층은 포인트 클라우드만으로는 확인할 수 없었던 정렬 오류를 잡아내어 후속 AV 인식 모델 학습에 필요한 높은 정확도를 보장했습니다.
프로젝트 범위
| 데이터 세트 유형 | 클래스 | 상자/프레임 | Attributes | 폐쇄 수준 | 검증 |
|---|---|---|---|---|---|
| 3D LiDAR AV 인식 | 14 | 평균 ~53 | 5개의 속성 레이어 | 4 (0–100%) | 2D 이미지 교차 검증 |
결과
- 설립 고밀도 3D LiDAR 주석 파이프라인 생산 정확도 기준으로 프레임당 약 53개의 상자
- 표준화 14개 클래스 객체 온톨로지 클래스별 기본 크기 강제 적용
- 배달 5개의 속성 레이어 4단계 교합 분류를 포함합니다.
- 구현 교차 모달 QA 2D 보정 이미지를 사용하여 3D 박스의 유효성을 검증합니다.
- 클라이언트의 기능을 활성화했습니다. 자율 주행 차량 인지, ADAS 및 자율 주행 모델 훈련
전반적으로 Shaip은 복잡한 3D LiDAR 인식 요구 사항을 구조화되고 생산 준비가 완료된 주석 파이프라인으로 변환하는 데 도움을 주었습니다. 이 파이프라인은 까다로운 실제 환경에서도 보정 수준의 정확도로 자율 주행, ADAS, 로보택시 및 자율 주행 트럭 개발을 지원할 수 있습니다.
Shaip은 안개, 고스트 포인트 클라우드, 심한 가림 현상, 프레임당 약 53개의 박스 등 대부분의 어노테이션 파이프라인을 무력화시키는 AV 엣지 케이스를 처리했습니다. 그들의 2D-3D 교차 검증 덕분에 우리는 신뢰할 수 있는 인지 훈련 데이터를 얻을 수 있었습니다.
