| 1 |
1
센서에 의해 센싱되는 시연자의 행동에 따른 감지 데이터로부터 물체영역 및 사람의 신체영역을 검출하는 검출부;상기 감지 데이터 내 색상정보에서 상기 검출된 물체영역을 추출하여 물체의 위치 및 종류를 인식하는 물체 인식부;기 설정된 일정시간 동안 검출되는 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 저장하여 유지하는 정보 저장부; 및상기 정보 저장부에 저장되어 유지되는 상기 시연자의 행동에 따른 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 기반으로 행동의 시퀀스를 학습하는 행동 인식부를 포함하되,상기 검출부는RGB-D-T(색상-거리-온도) 센서를 이용하여 상기 시연자의 행동에 대한 상기 감지 데이터를 획득하고, 상기 감지 데이터 내 깊이정보로부터 상기 물체영역을 검출하는 물체 검출 모듈 및 상기 감지 데이터 내 상기 색상정보, 상기 깊이정보 및 온도정보로부터 상기 사람의 신체영역을 검출하는 신체 검출 모듈을 포함하며,상기 물체 검출 모듈은상기 감지 데이터에 란삭(RANdom SAmple Consensus; RANSAC) 알고리즘을 적용하여 평면을 검출하고, 상기 검출된 평면의 하단 영역을 제거하여 상기 깊이정보를 기반으로 상기 물체영역을 검출하며,상기 신체 검출 모듈은스킨 컬러 감지 알고리즘(skin color detection algorithm)이 적용된 색상정보, 및 상기 온도정보를 이용하여 사람의 피부영역을 검출하고, 상기 깊이정보를 이용하여 상기 사람의 신체영역을 검출하는 것을 특징으로 하는, 로봇의 행동 모방 장치
|
| 2 |
2
제1항에 있어서,상기 학습된 행동의 시퀀스에 따라 모방하도록 제어하는 제어부를 더 포함하는 로봇의 행동 모방 장치
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
제1항에 있어서,상기 물체 인식부는심층 신경망(deep neural network)를 이용하여 상기 색상정보에 따른 상기 물체의 위치 및 종류를 인식하는 것을 특징으로 하는 로봇의 행동 모방 장치
|
| 8 |
8
제1항에 있어서,상기 정보 저장부는상기 물체영역에서의 상기 인식된 물체의 위치 및 종류와, 상기 사람의 신체영역에서의 신체 일부의 위치를 저장하는 것을 특징으로 하는 로봇의 행동 모방 장치
|
| 9 |
9
제8항에 있어서,상기 정보 저장부는기 설정된 일정시간 동안 검출되는 상기 인식된 물체의 위치, 및 상기 신체 일부의 위치에 기초하여 물체와 물체 간, 또는 물체와 신체 간의 상대적 거리 및 상대적 속도를 저장하여 유지하는 것을 특징으로 하는 로봇의 행동 모방 장치
|
| 10 |
10
제1항에 있어서,상기 행동 인식부는기 설정된 일정시간 동안 시연되는 상기 시연자의 행동에 따른 상기 행동의 시퀀스를 학습하는 로봇의 행동 모방 장치
|
| 11 |
11
제10항에 있어서,상기 행동 인식부는순환형 신경망(Recurrent Neural Network; RNN)을 이용하여 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 기반으로 상기 감지 데이터의 매 프레임마다 상기 행동의 시퀀스를 인식하는 것을 특징으로 하는 로봇의 행동 모방 장치
|
| 12 |
12
로봇의 행동 모방 장치를 이용하여 시연자의 행동을 모방하는 로봇의 행동 모방 방법에 있어서,센서에 의해 센싱되는 시연자의 행동에 따른 감지 데이터로부터 물체영역 및 사람의 신체영역을 검출하는 단계;상기 감지 데이터 내 색상정보에서 상기 검출된 물체영역을 추출하여 물체의 위치 및 종류를 인식하는 단계;기 설정된 일정시간 동안 검출되는 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 저장하여 유지하는 단계;저장되어 유지되는 상기 시연자의 행동에 따른 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 기반으로 행동의 시퀀스를 학습하는 단계; 및상기 학습된 행동의 시퀀스에 따라 모방하도록 상기 로봇을 제어하는 단계를 포함하되,상기 물체영역 및 사람의 신체영역을 검출하는 단계는 RGB-D-T(색상-거리-온도) 센서를 이용하여 상기 시연자의 행동에 대한 상기 감지 데이터를 획득하고, 상기 감지 데이터 내 깊이정보로부터 상기 물체영역을 검출하는 단계 및 상기 감지 데이터 내 상기 색상정보, 상기 깊이정보 및 온도정보로부터 상기 사람의 신체영역을 검출하는 단계를 포함하며,상기 물체영역을 검출하는 단계는상기 감지 데이터에 란삭(RANdom SAmple Consensus; RANSAC) 알고리즘을 적용하여 평면을 검출하고, 상기 검출된 평면의 하단 영역을 제거하여 상기 깊이정보를 기반으로 상기 물체영역을 검출하며,상기 사람의 신체영역을 검출하는 단계는스킨 컬러 감지 알고리즘(skin color detection algorithm)이 적용된 색상정보, 및 상기 온도정보를 이용하여 사람의 피부영역을 검출하고, 상기 깊이정보를 이용하여 상기 사람의 신체영역을 검출하는 것을 특징으로 하는, 로봇의 행동 모방 방법
|
| 13 |
13
삭제
|
| 14 |
14
제12항에 있어서,상기 물체의 위치 및 종류를 인식하는 단계는심층 신경망(deep neural network)를 이용하여 상기 색상정보에 따른 상기 물체의 위치 및 종류를 인식하는 것을 특징으로 하는 로봇의 행동 모방 방법
|
| 15 |
15
제12항에 있어서,상기 저장하여 유지하는 단계는상기 물체영역에서의 상기 인식된 물체의 위치 및 종류와, 상기 사람의 신체영역에서의 신체 일부의 위치를 저장하는 것을 특징으로 하는 로봇의 행동 모방 방법
|
| 16 |
16
제12항에 있어서,상기 행동의 시퀀스를 학습하는 단계는순환형 신경망(Recurrent Neural Network; RNN)을 이용하여 상기 물체영역 및 상기 사람의 신체영역과, 상기 물체 인식 결과를 기반으로 상기 감지 데이터의 매 프레임마다 상기 행동의 시퀀스를 인식하는 것을 특징으로 하는 로봇의 행동 모방 방법
|
| 17 |
17
삭제
|
