| 1 |
1
그리핑대상 물체의 마커 인식 위치에서 촬영한 영상으로부터 마커를 인식하는 마커 인식부;피수용대상 물체의 인식 위치에서 촬영한 영상을 기 설정된 딥러닝 학습모델에 적용하여 피수용대상 물체를 인식하는 피수용대상 물체 인식부; 및상기 마커의 인식 및 상기 피수용대상 물체의 인식을 토대로, 상기 그리핑대상 물체를 그리핑하여 상기 피수용대상 물체로 드롭하도록 제어하는 로봇팔 제어부;를 포함하며,상기 마커와 피수용대상 물체를 비전인식을 통해서 인식하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치
|
| 2 |
2
청구항 1에 있어서,상기 마커는,흰색 셀과 검정색 셀을 조합한 n*n 2차원 패턴의 ArUco 마커, 또는체크보드와 4개의 ArUco 마커가 다이아몬드 형태로 배열된 chArUco 마커를 사용하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치
|
| 3 |
3
청구항 1에 있어서,상기 로봇 제어장치는,상기 피수용대상 물체에 대하여 복수의 각도에서 촬영하여 획득한 데이터세트를 학습하여 피수용대상 물체의 위치와 자세를 추정하기 위한 딥러닝 학습모델을 생성하는 학습부;를 더 포함하며,상기 데이터세트는, 상기 피수용대상 물체를 적어도 4개 이상의 서로 다른 각도에서 상기 피수용대상 물체를 포함하도록 촬영한 영상과, 상기 촬영한 영상을 3차원 모델링한 후 상기 3차원 모델링한 영상을 상기 촬영한 영상에 역투영하여 이진화 처리한 마스크를 토대로 생성되며,상기 학습부는, 상기 생성한 데이터세트의 피수용대상 물체를 촬영한 영상과 이진화 처리한 마스크의 매핑관계를 Mask R-CNN 모델로 학습하여 딥러닝 학습모델을 생성하는 것을 더 포함하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치
|
| 4 |
4
청구항 1에 있어서,상기 마커 인식부는,상기 그리핑대상 물체에 부착된 마커를 인식하기 위한 마커 인식 위치에서, 로봇의 베이스에서 상기 인식한 마커로의 변환행렬과 상기 로봇의 베이스에서 로봇팔로의 변환행렬을 곱하여 상기 마커에서 상기 로봇팔로의 변환행렬을 구하고;상기 로봇팔의 좌표계를 기준으로 상기 로봇팔에서 상기 그리핑대상 물체까지의 X, Y, Z축 거리정보를 참조하여 상기 로봇팔에서 상기 그리핑대상 물체로의 변환행렬을 구하고;상기 로봇이 상기 그리핑대상 물체를 그리핑하기 위한 실행 위치로 이동함에 따라 변경된 로봇의 베이스에서 상기 인식한 마커로의 변환행렬과 상기 마커 인식 위치에서 구한 상기 마커에서 상기 로봇팔로의 변환행렬을 곱하여 최종적인 상기 로봇의 베이스에서 상기 로봇팔로의 변환행렬을 구하고;상기 실행 위치에서 구한 상기 로봇의 베이스에서 상기 로봇팔로의 변환행렬과 상기 마커 인식 위치에서 구한 상기 로봇팔에서 상기 그리핑대상 물체로의 변환행렬을 곱하여 최종적인 상기 로봇의 베이스에서 상기 그리핑대상 물체로의 변환행렬을 구함으로써, 상기 그리핑대상 물체의 좌표를 추출하며;상기 로봇의 베이스와 상기 마커의 위치가 변경되더라도 상기 로봇팔을 상기 그리핑대상 물체로 이동시킬 수 있는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치
|
| 5 |
5
청구항 1에 있어서,상기 피수용대상 물체 인식부는,상기 피수용대상 물체의 인식 위치에서, 로봇의 베이스에서 상기 피수용대상 물체로의 변환행렬과 상기 로봇의 베이스에서 로봇팔로의 변환행렬을 곱하여 상기 피수용대상 물체에서 상기 로봇팔로의 변환행렬을 구하고;상기 구한 상기 피수용대상 물체에서 상기 로봇팔로의 변환행렬에서 회전행렬을 추출하여 위치 벡터를 삭제한 새로운 상기 피수용대상 물체에서 상기 로봇팔로의 변환행렬을 구하고;상기 구한 새로운 상기 피수용대상 물체에서 상기 로봇팔로의 변환행렬과 상기 구한 로봇의 베이스에서 상기 피수용대상 물체로의 변환행렬을 곱하여 최종적인 상기 로봇의 베이스에서 상기 피수용대상 물체로의 변환행렬을 구함으로써, 상기 피수용대상 물체의 좌표를 추출하며;상기 구한 최종적인 상기 로봇의 베이스에서 상기 피수용대상 물체로의 변환행렬을 통해서, 상기 로봇팔이 상기 피수용대상 물체의 좌표축을 따라가지 않도록 하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치
|
| 6 |
6
로봇 제어장치에서, 그리핑대상 물체의 마커 인식 위치에서 촬영한 영상으로부터 마커를 인식하는 마커 인식 단계;상기 로봇 제어장치에서, 피수용대상 물체의 인식 위치에서 촬영한 영상을 기 설정된 딥러닝 학습모델에 적용하여 피수용대상 물체를 인식하는 피수용대상 물체 인식 단계; 및상기 로봇 제어장치에서, 상기 마커의 인식 및 상기 피수용대상 물체의 인식을 토대로, 상기 그리핑대상 물체를 그리핑하여 상기 피수용대상 물체로 드롭하도록 제어하는 로봇팔 제어 단계;를 포함하며,상기 마커와 피수용대상 물체를 비전인식을 통해서 인식하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어방법
|
| 7 |
7
청구항 6에 있어서,상기 로봇 제어방법은,상기 로봇 제어장치에서, 상기 피수용대상 물체에 대하여 복수의 각도에서 촬영한 데이터세트를 학습하여 피수용대상 물체의 위치와 자세를 추정하기 위한 딥러닝 학습모델을 생성하는 학습 단계;를 더 포함하며,상기 데이터세트는, 상기 피수용대상 물체를 적어도 4개 이상의 서로 다른 각도에서 상기 피수용대상 물체를 포함하도록 촬영한 영상과, 상기 촬영한 영상을 3차원 모델링한 후 상기 3차원 모델링한 영상을 상기 촬영한 영상에 역투영하여 이진화 처리한 마스크를 토대로 생성되며,상기 학습 단계는, 상기 생성한 데이터세트의 피수용대상 물체를 촬영한 영상과 이진화 처리한 마스크의 매핑관계를 Mask R-CNN 모델로 학습하여 딥러닝 학습모델을 생성하는 것을 더 포함하는 것을 특징으로 하는 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어방법
|
