| 1 |
1
작업자의 행동을 다가가기, 정렬하기, 물체 잡기, 물체 옮기기, 물체 내려놓기, 삽입하기 및 조이기를 포함하는 n개의 단위행동으로 구분하여, 상기 단위행동마다 각각 직접 교시(direct teaching) 및 관찰(observation)을 포함하는 시연으로부터 정답 이미지 및 추가 학습용 이미지를 획득하고, 이를 이용하여 학습하는 방법으로서, (d) 상기 전처리 모듈(100)에(a) 전처리 모듈(100)은 작업자의 시연으로부터 로우 이미지가 입력되면 상기 로우 이미지에서 단위행동을 각각 구분하고, 상기 구분된 단위행동마다 각각 정답 이미지와 그 외의 배경을 추출하고, 상기 구분된 단위행동마다 상기 정답 이미지와 배경을 포함하는 각각의 이미지 세트를 생성하는 단계;(b) 모델링 수행 모듈(200)이 상기 각각의 이미지 세트를 입력받아, 각각 딥러닝 학습하여 다수의 레이어를 포함하는 제1 내지 제n 단위행동 딥러닝 모델(n은 2이상의 자연수)을 상기 단위행동마다 각각 생성하는 단계;(c) 데이터 처리 모듈(300)에서 상기 제1 내지 제n 단위행동 딥러닝 모델의각각 제1 내지 제n 비용함수(cost function)를 판단하고, 상기 제1 내지 제n 비용함수의 정답 벡터를 결정하는 단계; 추가 학습용 이미지가 입력되고, 상기 전처리 모듈(100)은 상기 추가 학습용 이미지에서 단위행동을 각각 구분하고, 상기 각각의 제1 내지 제n 단위행동 딥러닝 모델 중 상기 단위행동에 대응되는 어느 하나의 단위행동 딥러닝 모델에 상기 추가 학습용 이미지를 전송하고, 상기 어느 하나의 단위행동 딥러닝 모델은 상기 추가 학습용 이미지에서 특징 벡터를 추출하고, 상기 추출된 특징 벡터는 상기 데이터 처리 모듈(300)로 전송하고, 상기 데이터 처리 모듈(300)이 상기 추가 학습용 이미지에서 추출된 특징 벡터를 임베딩한 특징 벡터와 상기 (c)단계에서 결정한 정답 벡터를 추가 학습 모듈(400)로 전송하는 단계; 및(e) 상기 추가 학습 모듈(400)에서 상기 전송된 정답 벡터와 상기 추가 학습용 이미지의 임베딩된 특징 벡터의 차이를 비교하고, 상기 차이가 기설정된 값 미만이면, 상기 추가 학습용 이미지의 임베딩된 특징 벡터로 상기 제1 내지 제n 단위행동 딥러닝 모델 중 상기 어느 하나를 추가 학습시키는 단계;를 포함하는,학습 방법
|
| 2 |
2
제1항에 있어서,상기 (e)단계 이후,(f) 상기 전처리 모듈(100)에 다른 추가 학습용 이미지가 더 입력되고, 이를 이용하여 상기 (d) 내지 (e) 단계가 반복되어 상기 제1 내지 제n 단위행동 딥러닝 모델 중 다른 하나를 추가 학습시키는 단계;를 더 포함하는,학습 방법
|
| 3 |
3
제1항에 있어서,(a1) 상기 전처리 모듈(100)이 상기 정답 이미지에서 기 설정된 방법에 따라 타겟 물체와 장애물을 분리하는 단계; 및(a2) 상기 전처리 모듈(100)이 상기 분리된 타겟 물체와 장애물을 상기 배경에 배열하되 상기 타겟 물체와 장애물의 위치, 방향 및 자세를 변경하면서 배열함으로써, 새로운 이미지 세트 생성하는 단계; 를 포함하는,학습 방법
|
| 4 |
4
제1항 내지 제3항 중 어느 한 항에 따른 학습 방법으로 생성된 제1 내지 제n 단위행동 딥러닝 모델을 이용한 로봇 제어 방법으로서, (g) 상기 전처리 모듈(100)에 실시간 이미지가 입력되면, 상기 전처리 모듈(100)이 상기 실시간 이미지를 상기 제1 내지 제n 단위행동 딥러닝 모델 각각에 전송하고, 상기 제1 내지 제n 단위행동 딥러닝 모델 각각은 전송된 실시간 이미지에서 특징 벡터를 추출하여 상기 데이터 처리 모듈(300)로 전송하는 단계;(h) 상기 데이터 처리 모듈(300)은 상기 (g)단계에서 전송된 특징 벡터를 각각 임베딩하고, 상기 임베딩된 특징 벡터 각각을 상기 제1 내지 제n 비용함수에 대입하여 제1 내지 제n 비용함수값을 각각 연산하고, 상기 연산된 제1 내지 제n 비용함수값 각각을 리모델링 모듈(500)로 전송하는 단계; 및(i) 상기 리모델링 모듈(500)은 상기 데이터 처리 모듈(300)에서 전송된 상기 제1내지 제n 비용함수값을 이용하여 기설정된 방법으로 로봇 제어값을 각각 연산하고, 상기 로봇 제어값들 중 가장 큰 값에 해당하는 상기 제1 내지 제n 단위행동 딥러닝 모델 중 어느 하나를 선택하는 단계; 를 포함하는,제어 방법
|
| 5 |
5
제4항에 있어서,상기 (i)단계는,(i1) 상기 리모델링 모듈(500)은 각각의 상기 제1 내지 제n 비용함수값이 모두 기설정된 값 이상이면, 1에서 제1 비용함수값을 차감한 값에 1을 더한 후 상기 제1 비용함수값을 곱하여 상기 제1 단위행동 딥러닝 모델의 로봇 제어값을 연산하는 단계;(i2) 상기 리모델링 모듈(500)이 상기 제1 내지 제n 비용함수값이 중 어느 하나라도 기설정된 값 미만이면, 1에서 제1 비용함수값을 차감한 값에 상기 제1 비용함수값을 곱하여 상기 제1 단위행동 딥러닝 모델의 로봇 제어값을 연산하는 단계; 및(i3) 상기 리모델링 모듈(500)이, 1에서 제n 비용함수값을 차감한 값과 1에제n-1 비용함수값을 더한 값을 더한 후 여기에 제n 비용함수값을 곱하여 상기 제n 단위행동 딥러닝 모델(n은 2 이상의 자연수)의 로봇 제어값을 연산하는 단계; 를 포함하는,제어 방법
|
| 6 |
6
제5항에 있어서,상기 (g)단계 이전에, 상기 전처리 모듈(100)에 실시간 이미지가 입력되면, 상기 전처리 모듈(100)이 상기 실시간 이미지를 하나 이상의 실시간 이미지로 분류하는 단계를 더 포함하며, 상기 분류된 하나 이상의 실시간 이미지마다 각각 상기 (g) 내지 (i) 단계가 반복되어, 상기 제1 내지 제n 단위행동 딥러닝 모델 중 어느 하나 이상이 선택되고, 상기 (i) 단계 이후, 상기 로봇이, 상기 선택된 제1 내지 제n 단위행동 딥러닝 모델 각각에 대응되는 하나 이상의 단위행동을 수행하도록 제어되는 단계; 를 포함하는,제어 방법
|
| 7 |
7
제1항 내지 제3항 중 어느 한 항에 따른 학습 방법에 의해 생성된 딥러닝 모델을 포함한 프로그램으로서, 저장 매체에 기록된 프로그램
|
| 8 |
8
제1항 내지 제3항 중 어느 한 항에 따른 학습 방법이 수행되는 시스템
|
| 9 |
9
제4항 내지 제6항 중 어느 한 항에 따른 제어 방법이 수행되도록 저장 매체에 기록된 프로그램
|
| 10 |
10
제4항 내지 제6항 중 어느 한 항에 따른 제어 방법이 수행되는, 로봇
|
