| 1 |
1
디바이스 주변의 복수의 객체들에 대한 센싱 데이터를 획득하도록 구성된 입력 모듈;상기 센싱 데이터를 기반으로 정보들이 정합된 메쉬화된 특징점 맵을 생성하도록 구성된 정보 생성 모듈; 및상기 메쉬화된 특징점 맵 상에 가상 이미지를 합성하여 상기 가상이미지와 상호작용하는 상호작용 관심영역을 추정하도록 구성된 상호작용 관심영역 추정 모듈을 포함하고,상기 정보 생성 모듈은:상기 센싱 데이터를 수신하여 상기 복수의 객체들에 대한 특징점들을 추출하여 특징점 맵을 생성하도록 구성된 특징점 맵 생성 모듈;상기 센싱 데이터를 수신하여 의미론적 분할을 수행하여 클래스별 분할 정보를 획득하고, 인스턴스 분할을 수행하여 객체별 분할 정보를 획득하며, 상기 클래스별 분할 정보 및 상기 객체별 분할 정보에 따른 객체별 물리적 속성 정보를 추출하도록 구성된 분할 모듈; 및상기 특징점 맵에 상기 클래스별 분할 정보, 상기 객체별 분할 정보 및 상기 객체별 물리적 속성 정보를 정합하고, 정합된 상기 클래스별 분할 정보 및 상기 객체별 분할 정보에 따라 상기 특징점 맵의 상기 객체들 각각을 메쉬화하도록 구성된 메쉬화 모듈을 포함하는 시스템
|
| 2 |
2
제1 항에 있어서,상기 특징점 생성 모듈은 추출된 상기 특징점들에 기초하여 디바이스 위치 정보를 획득하고,상기 메쉬화 모듈은 상기 디바이스 위치 정보를 상기 특징점 맵에 정합하는 시스템
|
| 3 |
3
제1 항에 있어서,상기 상호작용 관심영역은 상기 가상 이미지의 운동 궤적 상에서 상기 상호작용하는 상기 객체의 영역인 시스템
|
| 4 |
4
제3 항에 있어서,상기 상호작용 관심영역 추정 모듈은 상기 상호작용 관심영역 내의 상기 객체와 상기 가상 이미지 사이의 상호작용 연산을 수행하는 시스템
|
| 5 |
5
제4 항에 있어서,상기 상호작용 연산은 상기 특징점 맵에서 상기 상호작용 관심영역 외부의 객체들과 상기 가상 이미지 사이에서는 수행되지 않는 시스템
|
| 6 |
6
제1 항에 있어서,상기 센싱 데이터는 영상 데이터, depth 데이터 및 lidar 데이터 중 어느 하나를 포함하는 시스템
|
| 7 |
7
제1 항에 있어서,상기 센싱 데이터는 영상 데이터를 포함하고,상기 영상 데이터는 복수의 이미지 프레임들을 포함하며,상기 복수의 이미지 프레임들은 상기 디바이스의 위치 및 포즈에 따라 달라지는 시스템
|
| 8 |
8
제7 항에 있어서,상기 특징점 맵 생성 모듈은 상기 복수의 이미지 프레임들에 대한 상기 특징점들을 추출하여 상기 특징점 맵을 생성하는 시스템
|
| 9 |
9
제1 항에 있어서,상기 의미론적 분할은 상기 객체의 종류에 따라 픽셀 단위로 상기 종류에 대응하는 클래스에 분류하여 상기 클래스별 분할 정보를 획득하는 시스템
|
| 10 |
10
제9 항에 있어서,상기 인스턴스 분할은 상기 클래스에 포함된 복수의 객체들을 각각 분할하여 상기 객체별 분할 정보를 획득하는 시스템
|
| 11 |
11
디바이스의 주변 환경을 센싱하여 센싱 데이터를 획득하는 것, 상기 센싱 데이터는 복수의 객체들에 대한 데이터를 포함하고;상기 센싱 데이터에서 특징점을 추출하여 특징점 맵을 생성하는 것;상기 센싱 데이터에 의미론적 분할을 수행하여 클래스별 분할 정보를 획득하는 것;상기 센싱 데이터에 인스턴스 분할을 수행하여 객체별 분할 정보를 획득하는 것;상기 클래스별 분할 정보 및 상기 객체별 분할 정보에 따른 객체별 물리적 속성 정보를 추출하는 것;상기 특징점 맵에 상기 클래스별 분할 정보, 상기 객체별 분할 정보 및 상기 객체별 물리적 속성 정보를 정합하는 것;상기 특징점 맵에 정합된 상기 클래스별 분할 정보 및 상기 객체별 분할 정보에 따라 상기 특징점 맵의 상기 객체들 각각을 메쉬화하는 것; 및상기 메쉬화된 상기 특징점 맵 상에 가상 이미지를 합성하여 상기 가상 이미지와 상호작용하는 상호작용 관심영역을 추정하는 것을 포함하는 관심영역 추정 방법
|
| 12 |
12
제11 항에 있어서,상기 추출된 상기 특징점들에 기초하여 디바이스 위치 정보를 획득하는 것; 및상기 디바이스 위치 정보를 상기 특징점 맵에 정합하는 것을 더 포함하는 관심영역 추정 방법
|
| 13 |
13
제11 항에 있어서,상기 상호작용 관심영역은 상기 가상 이미지의 운동 궤적 상에서 상기 상호작용하는 상기 객체의 영역인 관심영역 추정 방법
|
| 14 |
14
제13 항에 있어서,상기 상호작용 관심영역 내의 상기 객체와 상기 가상 이미지 사이의 상호작용 연산을 수행하는 것을 더 포함하는 관심영역 추정 방법
|
| 15 |
15
제14 항에 있어서,상기 상호작용 연산은 상기 특징점 맵에서 상기 상호작용 관심영역 외부의 객체들과 상기 가상 이미지 사이에서는 수행되지 않는 관심영역 추정 방법
|
| 16 |
16
제11 항에 있어서,상기 센싱 데이터는 영상 데이터, depth 데이터 및 lidar 데이터 중 어느 하나를 포함하는 관심영역 추정 방법
|
| 17 |
17
제11 항에 있어서,상기 센싱 데이터는 영상 데이터를 포함하고,상기 영상 데이터는 복수의 이미지 프레임들을 포함하며,상기 복수의 이미지 프레임들은 상기 디바이스의 위치 및 포즈에 따라 달라지는 관심영역 추정 방법
|
| 18 |
18
제17 항에 있어서,상기 특징점 맵은 상기 복수의 이미지 프레임들에 대한 상기 특징점들을 추출하여 생성하는 관심영역 추정 방법
|
| 19 |
19
제11 항에 있어서,상기 의미론적 분할은 상기 객체의 종류에 따라 픽셀 단위로 상기 종류에 대응하는 클래스에 분류하여 상기 클래스별 분할 정보를 획득하는 관심영역 추정 방법
|
| 20 |
20
제19 항에 있어서,상기 인스턴스 분할은 상기 클래스에 포함된 복수의 객체들을 각각 분할하여 상기 객체별 분할 정보를 획득하는 관심영역 추정 방법
|
