| 1 |
1
하이브리드 인터페이스를 사용하는 로봇 아바타 시스템으로서,뇌-컴퓨터 인터페이스(BCI: Brain Computer Interface), 헤드 마운트 디스플레이(HMD: Head-Mounted Display) 또는 스마트 안경(Smart Glasses), 모션 센서(motion sensor) 또는 위치 센서, 마이크로폰(microphone), 스피커, 촉각 센서, 햅틱 액추에이터(haptic actuator)를 포함하는 인터페이스;상기 BCI 및 상기 모션 센서 또는 위치 센서로부터 수신한 BCI 정보 및 움직임 정보를 기반으로 상기 로봇의 행동을 제어하기 위한 명령을 생성하며, 상기 마이크로폰으로부터 수신한 사람의 음성 정보를 상기 로봇을 통해 출력하도록 전달하는 명령 서버; 상기 BCI 및 상기 모션 센서 또는 위치 센서로부터 수신한 BCI 정보 및 움직임 정보를 기반으로 상기 명령 서버에서 사용되는 BCI-모션 매핑 데이터베이스 및 라벨 판별 모델을 구축하는 BCI-모션 학습 서버; 및 상기 로봇을 통해 획득한 오디오, 비디오, 촉각 정보를 각각 상기 스피커, HMD 또는 스마트 안경, 햅틱 엑추에이터를 통해 출력할 수 있도록 가공하는 지각 서버를 포함하는 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템
|
| 2 |
2
제1항에 있어서,상기 마이크로폰과 상기 스피커는 상기 HMD 또는 상기 스마트 안경과 일체형으로 형성된 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템
|
| 3 |
3
제1항에 있어서,상기 BCI는 상기 HMD 또는 상기 스마트 안경과 일체형으로 형성된 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템
|
| 4 |
4
하이브리드 인터페이스를 사용하는 로봇 아바타 시스템에서 로봇을 제어하기 위한 명령을 생성하는 명령 서버로서,비전 센서로부터 획득된 움직임 정보를 수신하여 전처리하는 비전 데이터 전처리부; 위치 센서로부터 획득된 움직임 정보를 수신하여 전처리하는 위치 데이터 전처리부; 상기 비전 센서 및 위치 센서로부터 비전 데이터 및 위치 데이터를 받아들여 상기 비전 데이터 및 위치 데이터들 사이의 불일치를 해결하고 조절함으로써 정확한 움직임 데이터를 실시간으로 추출하는 실시간 움직임 미세 조절부; 뇌-컴퓨터 인터페이스(BCI: Brain Computer Interface)로부터 수신된 BCI 정보를 전처리하는 BCI 데이터 전처리부; 전처리된 BCI 데이터를 데이터베이스에 저장된 판별 모델을 이용하여 실시간으로 분석함으로써 사용자가 현재 어떤 종류의 움직임을 생각하는 것인지를 나타내는 라벨을 판별하는 실시간 BCI 라벨 판별부; 판별된 상기 라벨을 기반으로 BCI-모션 매핑 데이터베이스로부터 움직임 데이터를 인출하는 움직임 데이터 인출부; 상기 실시간 움직임 미세 조절부에 의해 미세 조절된 제1 움직임 데이터와 상기 움직임 데이터 인출부에 의해 인출된 제2 움직임 데이터를 기반으로 상기 사용자가 의도하는 움직임을 결정하는 하이브리드 모션 생성부; 상기 하이브리드 모션 생성부에 의해 결정된 움직임과 상기 로봇의 정보를 기반으로 상기 사용자의 움직임을 로봇의 움직임으로 매핑하는 사람-로봇 움직임 매핑부; 및움직임 명령을 전송하는 움직임 명령 전송부를 포함하는 명령 서버
|
| 5 |
5
제4항에 있어서,사람의 발화 또는 발성에 의한 음성 정보를 수신하여 상기 로봇이 출력할 수 있는 형태로 처리하는 음성 처리부; 및상기 음성 처리부에 의해 처리된 음성 정보를 상기 로봇으로 전송하는 음성 전송부를 더 포함하는 명령 서버
|
| 6 |
6
제4항에 있어서, 상기 하이브리드 모션 생성부는,상기 제1 움직임 데이터 또는 상기 제2 움직임 데이터만이 입력되는 경우에는 입력된 상기 제1 움직임 데이터 또는 상기 제2 움직임 데이터만을 사용하고, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터가 모두 입력되는 경우에는, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터가 일치하면, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터를 조합하여 더 정밀한 움직임으로 사용하고, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터가 일치하지 않으면, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터가 지정하는 두 가지 움직임을 동시에 할 수 있는 경우 두 가지 움직임을 모두 사용하고, 상기 제1 움직임 데이터와 상기 제2 움직임 데이터가 지정하는 두 가지 움직임을 동시에 할 수 없는 경우 두 가지 움직임 중 미리 정한 우선순위가 높은 움직임을 사용하여 상기 사용자가 의도하는 움직임을 결정하는 명령 서버
|
| 7 |
7
제4항에 있어서, 상기 사용자 별로 서로 다른 BCI-모션 매핑 데이터베이스를 사용할 수 있도록 상기 사용자를 인식하는 사용자 인식부를 더 포함하는 명령 서버
|
| 8 |
8
하이브리드 인터페이스를 사용하는 로봇 아바타 시스템에서 로봇을 제어하기 위한 움직임 명령을 생성하는 명령 서버에서 뇌-컴퓨터 인터페이스(BCI: Brain Computer Interface)-모션 매핑 데이터베이스와 라벨 판별 모델을 구축하는 학습 서버로서,비전 센서로부터 획득된 움직임 정보를 수신하여 전처리하는 비전 데이터 전처리부; 위치 센서로부터 획득된 움직임 정보를 수신하여 전처리하는 위치 데이터 전처리부; 상기 비전 센서 및 위치 센서로부터 비전 데이터 및 위치 데이터를 받아들여 상기 비전 데이터 및 위치 데이터들 사이의 불일치를 해결하고 조절함으로써 정확한 움직임 데이터를 추출하는 움직임 미세 조절부; BCI로부터 수신된 BCI 데이터를 전처리하는 BCI 데이터 전처리부; 상기 움직임 미세 조절부에 의해 추출된 정확한 움직임을 데이터베이스 저장에 적합한 형태로 바꾸는 움직임 데이터 모델링부;상기 BCI 데이터를 데이터베이스 저장에 적합한 형태로 바꾸는 BCI 데이터 모델링부;상기 움직임 데이터와 상기 BCI 데이터를 연동하여 BCI-모션 매핑 데이터베이스에 저장하는 BCI-모션 매핑 등록부;상기 BCI-모션 매핑 데이터베이스를 이용하여 어떤 BCI 패턴이 어떤 생각에 해당하는지를 나타내는 라벨을 판별하는 모델을 생성하는 BCI-모션 판별 모델 생성부를 포함하는 학습 서버
|
| 9 |
9
제8항에 있어서, 사용자 별로 맞춤형으로 상기 라벨을 판별할 수 있도록 상기 사용자의 식별정보를 확인하고 현재 학습중인 상기 사용자의 식별정보를 상기 BCI-모션 매핑 데이터베이스로 전달하는 사용자 인식부를 더 포함하는 학습 서버
|
| 10 |
10
하이브리드 인터페이스를 사용하는 로봇 아바타 시스템에서 로봇을 통해 획득한 정보를 사람에게 전달하는 지각 서버로서,상기 로봇에 포함된 카메라로부터 비디오 데이터를 수신하여 처리하는 비디오 데이터 처리부;상기 로봇에 포함된 마이크로폰으로부터 오디오 데이터를 수신하여 처리하는 오디오 데이터 처리부; 및상기 로봇에 포함된 촉각 센서로부터 수신한 촉각 정보를 햅틱 액추에이터를 통해 사람에게 전달하기 위한 형태로 가공하는 촉각 데이터 처리부를 포함하는 지각 서버
|
| 11 |
11
제10항에 있어서, 증강 현실(AR: Augmented Reality) 정보를 저장하는 데이터베이스부를 더 포함하며,상기 비디오 데이터 처리부 및 상기 오디오 데이터 처리부는 상기 데이터베이스부에 저장되어 있는 증강 현실 정보를 이용하여 상기 비디오 데이터 및 상기 오디오 데이터를 가공하는 지각 서버
|
| 12 |
12
제10항에 있어서, 상기 촉각 데이터 처리부는,상기 촉각 정보가 미리 정한 최대값을 넘지 않도록 가공하거나, 사용자가 원하는 방식으로 조절(calibration)된 강도로 가공하는 지각 서버
|
