| 1 |
1
증강현실 아바타 상호작용을 위한 프로그램 코드가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서를 포함하는 증강현실 아바타 상호작용 시스템에 있어서, 상기 적어도 하나 이상의 프로세서는,영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 상기 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 실제 환경정보 인식부; 영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 사용자 환경정보 인식부;인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 제어부;추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 표현 동작 생성부; 및 상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 영상 가시화부를 구동하는 상기 프로그램 코드를 실행하도록 구현된 것인 증강현실 아바타 상호작용 시스템
|
| 2 |
2
제1항에 있어서, 상기 실제 환경정보 인식부는,상기 제1 센싱 정보에 기초하여 상기 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의하고, 상기 공간적인 영역 내에서 정적 객체의 위치 및 크기를 검출하고, 동적 객체의 움직임 및 크기를 검출하는 것인 증강현실 아바타 상호작용 시스템
|
| 3 |
3
제1항에 있어서, 상기 제1 센싱 정보는, 상기 사용자의 주변 환경에 대한 영상 정보와, 상기 사용자의 주변 환경에 대한 바람, 온도, 향기, 소리 등을 포함하는 환경 정보를 포함하는 것인 증강현실 아바타 상호작용 시스템
|
| 4 |
4
제1항에 있어서, 상기 사용자 환경정보 인식부는, 상기 제2 센싱 정보에 기초하여 상기 사용자가 누구인지를 판별하는 사용자 인식, 상기 사용자의 현재 감정적인 상태를 판별하는 감정 인식, 상기 사용자의 현재 동작 상황을 판별하는 동작 인식, 음성 인식 중 적어도 하나를 수행하는 것인 증강현실 아바타 상호작용 시스템
|
| 5 |
5
제4항에 있어서, 상기 사용자 환경정보 인식부는,상기 제2 센싱 정보에 기초하여 상기 사용자가 상기 증강현실 아바타에게 제시하는 의지를 판별하는 의도 인식, 상기 사용자의 근전도, 뇌파 등의 생체 신호를 판별하는 생체 신호 인식 중 적어도 하나를 더 수행하는 것인 증강현실 아바타 상호작용 시스템
|
| 6 |
6
제1항에 있어서, 상기 제어부는, 객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하여 상기 증강현실 아바타의 행동을 추론하는 것인 증강현실 아바타 상호작용 시스템
|
| 7 |
7
제1항에 있어서, 상기 제어부는,상기 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 상기 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성하는 것인 증강현실 아바타 상호작용 시스템
|
| 8 |
8
제7항에 있어서, 상기 제어부는,상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 위치 이동 계획(path planning)을 수행하는 것인 증강현실 아바타 상호작용 시스템
|
| 9 |
9
제7항에 있어서, 상기 제어부는, 상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 행위 계획(motion planning)을 수행하되, 상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함하는 것인 증강현실 아바타 상호작용 시스템
|
| 10 |
10
제1항에 있어서, 상기 표현 동작 생성부에서 생성된 상기 증강현실 아바타의 표현 동작은 인식된 사용자 주변의 실제 환경 정보 및 상기 사용자의 정보에 대한 반응 동작을 포함하는 물리 기반 행동 표현과, 얼굴 표현과, 사전에 정의된 시나리오에 기반한 애니메이션 동작 표현을 포함하는 것인 증강현실 아바타 상호작용 시스템
|
| 11 |
11
증강현실 아바타 상호작용을 위한 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서에 의해 수행되는 증강현실 아바타 상호작용 방법에 있어서,영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 단계; 영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 단계;인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 단계;추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 단계; 및 상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 단계를 포함하는 증강현실 아바타 상호작용 방법
|
| 12 |
12
제11항에 있어서, 상기 실제 환경 정보를 인식하는 단계는,상기 제1 센싱 정보에 기초하여 상기 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의하고, 상기 공간적인 영역 내에서 정적 객체의 위치 및 크기를 검출하고, 동적 객체의 움직임 및 크기를 검출하는 단계를 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 13 |
13
제11항에 있어서, 상기 제1 센싱 정보는, 상기 사용자의 주변 환경에 대한 영상 정보와, 상기 사용자의 주변 환경에 대한 바람, 온도, 향기, 소리 등을 포함하는 환경 정보를 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 14 |
14
제11항에 있어서, 상기 사용자 환경정보를 인식하는 단계는, 상기 제2 센싱 정보에 기초하여 상기 사용자가 누구인지를 판별하는 사용자 인식, 상기 사용자의 현재 감정적인 상태를 판별하는 감정 인식, 상기 사용자의 현재 동작 상황을 판별하는 동작 인식, 음성 인식 중 적어도 하나를 수행하는 단계를 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 15 |
15
제14항에 있어서, 상기 사용자 환경정보를 인식하는 단계는,상기 제2 센싱 정보에 기초하여 상기 사용자가 상기 증강현실 아바타에게 제시하는 의지를 판별하는 의도 인식, 상기 사용자의 근전도, 뇌파 등의 생체 신호를 판별하는 생체 신호 인식 중 적어도 하나를 더 수행하는 것인 증강현실 아바타 상호작용 방법
|
| 16 |
16
제11항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는, 객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하는 단계를 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 17 |
17
제11항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,상기 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 상기 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성하는 단계를 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 18 |
18
제17항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 위치 이동 계획(path planning)을 수행하는 단계를 더 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 19 |
19
제17항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는, 상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 행위 계획(motion planning)을 수행하는 단계를 더 포함하되, 상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함하는 것인 증강현실 아바타 상호작용 방법
|
| 20 |
20
제11항에 있어서, 상기 표현 동작 생성부에서 생성된 상기 증강현실 아바타의 표현 동작은 인식된 사용자 주변의 실제 환경 정보 및 상기 사용자의 정보에 대한 반응 동작을 포함하는 물리 기반 행동 표현과, 얼굴 표현과, 사전에 정의된 시나리오에 기반한 애니메이션 동작 표현을 포함하는 것인 증강현실 아바타 상호작용 방법
|
