| 1 |
1
정리정돈 로봇을 이용한 정리정돈 시스템에 있어서,다수의 대상 물체가 분포된 대상 영역을 촬영하는 영상 촬영부와,목표 영상과 상기 영상 촬영부에 의해 촬영된 현재 영상을 각각 분할하여 목표 분할 영상과 현재 분할 영상을 생성하는 인공지능 기반의 영상 분할기와,상기 영상 분할기에 의해 생성된 상기 목표 분할 영상과 상기 현재 분할 영상을 입력받아, 다수의 상기 대상 물체의 정리정돈 계획을 수립하는 인공지능 기반의 정리정돈 계획기를 포함하며;상기 정리정돈 계획기는상기 목표 분할 영상과 상기 현재 분할 영상을 입력받아 다수의 상기 대상 물체 중 정리정돈의 다음 대상을 추정하는 작업 순서 계획 모델과,상기 작업 순서 계획 모델에 의해 추정된 상기 다음 대상에 대한 정리정돈 동작을 추정하는 정리정돈 추정 모델과,상기 정리정돈 추정 모델에 의해 추정된 상기 정리정돈 동작에 기초하여, 상기 다음 대상의 정리정돈을 위한 상기 정리정돈 로봇의 로봇 동작을 추정하는 로봇 추정 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 2 |
2
제1항에 있어서,상기 영상 분할기는 기 학습되어 등록된 DeepLap v3+ 알고리즘을 이용하여 상기 목표 분할 영상 및 상기 현재 분할 영상을 생성하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 3 |
3
제1항에 있어서,상기 작업 순서 계획 모델은 심층강화학습모델에 기반하여 학습되어 생성되는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 4 |
4
제3항에 있어서,상기 심층강화학습모델은 가상 영상이 상기 영상 분할기에 의해 분할되어 생성된 가상 분할 영상을 학습 데이터로 하여 학습되어 생성되며;상기 가상 영상은 각각의 상기 대상 물체에 대응하는 가상 물체가 상기 대상 영역에 대응하는 가상 공간에 분포된 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 5 |
5
제3항에 있어서,상기 심층강화학습모델은 Rainbow DQN(Deep Q-network) 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 6 |
6
제3항에 있어서,상기 작업 순서 계획 모델은 상기 다음 대상과, 상기 다음 대상의 정리정돈 기본 동작을 추정하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 7 |
7
제6항에 있어서,상기 정리정돈 추정 모델은상기 다음 대상의 기계적 상태 변화에 따른 상태 조작 동작을 추정하는 정리정돈 상태 추정 모델과;상기 다음 대상의 자세 변화에 따른 자세 조작 동작을 추정하는 정리정돈 자세 추정 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 8 |
8
제7항에 있어서,상기 상태 조작 동작은 상기 다음 대상의 상태 조작 위치, 상기 다음 대상의 상태 조작 방법, 및 상기 다음 대상의 상태 영역을 포함하며;상기 자세 조작 동작은 상기 다음 대상의 이동 동작과 상기 다음 대상의 회전 동작 중 적어도 하나를 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 9 |
9
제8항에 있어서,상기 정리정돈 상태 추정 모델은 OUNET(Object understanding network)을 기반으로 상기 상태 조작 동작을 추정하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 10 |
10
제9항에 있어서,상기 정리정돈 상태 추정 모델은상기 현재 영상으로부터 상기 다음 대상을 추출하는 대상 추출부와,상기 대상 추출부에 의해 추출된 상기 다음 대상의 상기 상태 조작 위치, 상기 상태 조작 방법 및 상기 상태 영역을 추정하는 물체 특성 추정기를 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 11 |
11
제10항에 있어서,상기 물체 특성 추정기는 U-Net 구조를 기반으로 구성되며;상기 대상 추출부에 의해 추출된 상기 다음 대상의 특징 벡터를 추출하는 엔코더와,상기 엔코더와 연결되어 상기 상태 영역 및 상기 상태 조작 위치를 추정하는 디코더와,상기 엔코더에 의해 추출된 상기 특징 벡터를 입력받아 상기 상태 조작 방법을 분류하는 전연결층을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 12 |
12
제11항에 있어서,상기 정리정돈 상태 추정 모델은상기 상태 영역 및 상기 상태 조작 위치 각각의 픽셀의 밀도 및 픽셀의 거리를 기반으로 군집화하여 기 설정된 기준 밀도 이하를 상기 상태 영역 및 상기 상태 조작 위치로부터 제거하여 최종적인 상태 영역 및 상태 조작 위치를 추정하는 DBSCAM(Density-based spatial clustering of application with noise) 모델을 더 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 13 |
13
제8항에 있어서,상기 영상 촬영부는 상기 대상 영역을 촬영하기 위한 3차원 점군 촬영부를 포함하며;상기 정리정돈 자세 추정 모델은상기 3차원 점군 촬영부에 의해 상기 대상 영역에 대해 복수 방향에서 촬영된 3차원 점군 데이터를 상기 대상 물체별로 분할하는 점군 분할 모델과;상기 점군 분할 모델에 의해 분할된 상기 대상 물체 중 상기 다음 대상에 대한 기준 좌표계를 설정하는 상기 자세 조작 동작을 추정하는 PCA(Principal component analysis) 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 14 |
14
제13항에 있어서,상기 점군 분할 모델은상기 3차원 점군 데이터를 상기 정리정돈 로봇에 대한 기준 좌표계로 변환하여 정합하는 데이터 정합부와;상기 데이터 정합부에 의해 정합된 상기 3차원 점군 데이터로부터 배경 점군을 제거하는 패스 스루 필터(Pass through filter)와;상기 패스 스루 필터에 의해 상기 배경 점군이 제거된 상기 3차원 점군 데이터의 각 점군 간의 거리 및 색상 차이에 기반하여 복수의 패치로 분할하는 VCCS(Voxel cloud connectivity segmentation) 모델과;상기 패치의 곡률에 기반하여 상기 대상 물체별로 군집화하는 LCCP(Locallly convex connected patches) 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 15 |
15
제13항에 있어서,상기 로봇 추정 모델은상기 현재 영상을 이용하여 표준 영상, 분할 영상 및 깊이 영상을 생성하는 적대적 신경망 모델과;상기 표준 영상, 상기 분할 영상 및 상기 깊이 영상을 기 설정된 사이즈로 압축하는 영상 압축 모델과;상기 영상 압축 모델에 의해 압축된 상기 표준 영상, 상기 분할 영상 및 상기 깊이 영상과, 상기 정리정돈 로봇의 로봇 상태 정보, 상기 정리정돈 동작을 입력받아 상기 로봇 동작을 추정하는 동작 추정 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
| 16 |
16
제15항에 있어서,상기 적대적 신경망 모델은 RCAN(Randomized-to-canonical adaptation networks) 모델을 포함하고;상기 영상 압축 모델은 VAE(Variational auto-encoder) 모델을 포함하며;상기 동작 추정 모델은 SAC(Soft actor critic) 모델을 포함하는 것을 특징으로 하는 정리정돈 로봇을 이용한 정리정돈 시스템
|
