| 1 |
1
로봇 수확을 위한 과일 줄기 자세 인식 시스템에 있어서,과일의 영상을 취득하기 위한 영상 취득부;영상 취득부로부터 취득된 영상으로부터 과일-줄기 골격 정보를 추정하기 위한 인공지능기반의 과일-줄기 골격 추정부를 포함하고,상기 과일-줄기 골격 정보는,키포인트1로서 과일 중심부(fruit center); 키포인트2로서 과일과 줄기가 연결되는 꽃받침(calyx); 키포인트3으로서 소화경(pedicel) 중심에 위치한 탈리대(abscission zone); 및 키포인트4로서 소화경과 화방(peduncle)의 가지점(branch point)의 4개의 키포인트를 이용하여 구성되고, 상기 과일-줄기 골격 정보는 과일-줄기 쌍으로서, 키포인트1과 키포인트2를 연결하는 라인; 키포인트2와 키포인트3을 연결하는 라인; 및 키포인트3과 키포인트4를 연결하는 라인;를 포함하고, 상기 과일-줄기 골격 추정부는 하나의 영상 내 과일-줄기 쌍이 복수개 존재하는 경우 PAF (part affininty field)를 이용하여 각 개체별 키포인트 1-2-3-4 연결강도를 추정하도록 학습되데, 상기 과일-줄기 골격 추정부에서의 토마토 포즈의 추정은 신뢰 맵에서 후보 키포인트 위치를 획득하고 PAF를 기반으로 이들 간의 연결을 찾는 방식으로 수행되고, 예측된 신뢰 맵에서 피크 포인트를 탐지하고 NMS(Non-Maximum Suppression)를 수행하여 노이즈를 제거하여 후보 키포인트 위치를 추정하고, 여러 토마토의 키포인트가 하나의 이미지에 함께 있기 때문에 PAF를 사용하여 각 토마토의 연결을 포함하여 전체 포즈를 추정하고, 부분에 포함된 두 개의 키포인트 후보의 연관 점수는 다음의 식(7)과 같이 두 후보 위치 dj1, dj2를 연결하는 선분을 따라 해당 PAF의 적분을 계산하여 구하고,여기서 p(u)는 두 개의 키 포인트 dj1 및 dj2의 보간이고,각 부분 유형에 대한 연결 가능한 모든 키포인트 후보에 대해 연관 점수를 얻어 NMS를 수행하고, 연관 점수가 높은 순서대로 부분을 연결하고, 한번 연결이 확인된 키포인트 후보는 다른 키포인트와의 연결 후보에서 제외하고, 토마토 포즈의 마지막 부분인 근위 소화경은 NMS를 사용하지 않고 가장 높은 연관 점수를 가진 가지 키포인트 4을 연결하여 여러 토마토의 부분이 공유할 수 있도록 구성되고,상기 개체별 키포인트 중 키포인트4인 가지점은 개체별 공유가능하도록 학습되고, 추정된 과일-줄기 골격 정보를 수확 로봇으로 전송하기 위한 추정 정보 전송부를 더 포함하고, 수확 로봇은 전송된 과일-줄기 골격 정보에 기반하여 수확 로봇의 그리핑 위치를 결정하도록 구성된 것을 특징으로 하는 로봇 수확을 위한 과일 줄기 자세 인식 시스템
|
