로봇 팔의 제어를 위한 객체 위치 인식방법 및 장치

기술적 과제

매니퓰레이터의 파지·접근 제어에는 대상 객체까지의 거리와 방위각이 필요하며, 통상 RGB-D 카메라의 깊이 채널을 그대로 씁니다. 그러나 깊이 채널은 표면 반사 특성·조명·거리 조건에 따라 결측(0값)이나 이상값이 발생하며, 이를 검증 없이 제어 입력으로 쓰면 거리 오차가 그대로 말단 위치 오차로 전달됩니다. 이 특허는 깊이 정보의 신뢰성을 판정하는 단계를 파이프라인에 명시적으로 두고, 신뢰할 수 없을 때 단안 영상의 기하 정보(검출 박스 크기)로 거리를 대체 추정하는 폴백 구조를 청구항으로 한정한 것입니다.

구성과 동작

1. 객체 영상의 프레임을 딥러닝 객체검출 모델에 입력해 대상 객체를 검출하고, 검출정보로 바운딩박스의 중심 좌표와 크기 정보를 얻습니다(청구항 1·8). 모델 구조는 한정하지 않으며, 검출 결과의 형식만 규정합니다.
2. 대상 객체 영역 중 미리 설정한 부분영역에 대응하는 복수 픽셀의 개별 깊이값을 취득합니다. 전체 박스가 아니라 부분영역을 쓰는 것은 배경 픽셀 혼입을 줄이기 위한 설계로 읽힙니다.
3. 깊이 정보의 이상 여부를 두 방식 중 하나로 판정합니다. ①부분영역 깊이값의 분포와 미리 저장한 정상 분포 간 차이를 계산해 임계값 이상이면 이상(청구항 1·11). ②프레임 전체에서 최빈 깊이값에 해당하는 기준픽셀을 정하고, 그 주변 설정 영역에서 0이 아닌 깊이값을 갖는 픽셀 수의 비율이 설정 비율 미만이면 이상(청구항 3·14). 임계값·비율·분포 표현 방식은 공보가 수치로 한정하지 않습니다.
4. 이상이 없으면 부분영역의 깊이 정보로 로봇 팔에서 대상 객체까지의 거리를 결정합니다(청구항 4).
5. 이상이 있으면 깊이값을 쓰지 않고, 검출 박스 크기를 기준크기에 대한 상대 크기로 환산한 뒤 기준크기에 대응하는 거리값과 그 상대 크기로 거리를 결정합니다(청구항 5). 즉 사전 캘리브레이션된 「기준크기–거리」 대응을 전제로 하는 단안 크기 기반 거리 추정입니다.
6. 방향은 바운딩박스 중심과 프레임 중심 사이의 상대 픽셀거리를 계산하고, 그 픽셀거리에 대응하는 시야각(FOV)으로 환산해 결정합니다(청구항 9). 카메라 내부 파라미터에 따른 픽셀–각도 대응이 전제입니다.
7. 동일 절차를 프로세서와 메모리로 구성한 장치(청구항 11·14)와 컴퓨터 판독 가능 기록매체(청구항 10)로도 청구합니다.