| 1 |
1
카메라로부터 사용자의 시선 방향으로 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치에 있어서,상기 외부 환경에 대한 영상 및 사용자의 양안 동공에 대한 영상 정보를 통해 외부 환경과 사용자의 시선에 따른 응시점 정보를 추정하는 응시점 정보 추정부;상기 외부 환경에 대한 영상 중, 상기 사용자의 응시점 정보 및 사전에 정해진 기준에 따라 사용자 응시점에 대응하는 관심영역을 생성하고, 사용자의 응시점에 대응되는 객체의 크기에 맞게 상기 관심영역의 크기를 조절하는 관심영역 생성부;상기 관심영역과 상기 관심영역에 대응하는 상기 외부 환경에 대한 영상의 특징에 따라 선택되는 복수의 특징맵 레이어 구조를 갖는 객체 검출 딥러닝 모델을 이용하여 상기 관심영역 내의 관심객체 정보를 검출하는 객체 정보 검출부; 및상기 사용자 응시점 정보와 상기 관심객체 정보를 기초로 사용자의 시·지각 반응 정보를 포함하는 메타데이터를 생성하는 메타데이터 생성부; 및상기 메타데이터를 기초로 사용자가 위치한 주변 환경의 상기 관심객체 정보와 상기 사용자의 시·지각 반응 정보를 동시에 사용자에게 제공하는 메타데이터 제공부를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 2 |
2
제1항에 있어서,상기 사용자의 응시점 정보는 사용자가 위치한 공간 상의 응시점 위치, 및 사용자로부터의 응시 대상에 대한 응시 거리를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 3 |
3
제2항에 있어서,상기 관심영역 생성부는 상기 응시점 위치를 매개변수로 하여 관심영역의 기준 위치를 정의하고, 상기 응시 거리와 상기 응시점에 대응되는 객체의 폭 길이, 상기 외부 환경에 대한 영상의 너비, 및 외부 환경을 촬영하는 카메라 수평 화각을 매개변수로 하여 관심영역의 크기를 정의하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 4 |
4
제3항에 있어서,상기 관심영역 생성부는 상기 외부 환경에 대한 영상의 색상, 영상의 엣지, 및 영상의 깊이맵 정보를 매개변수로 포함하여 상기 관심영역의 폭을 조절하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 5 |
5
제1항에 있어서,상기 객체 정보 검출부는 상기 관심영역 생성부가 생성한 상기 관심영역과 상기 외부 환경에 대한 영상 간의 비교 특징을 입력 정보로 설정하고, 상기 비교 특징을 학습하여 상기 복수의 특징맵 레이어들을 선택적으로 조합하는 가변적 신경망을 구성하여 관심객체를 추출하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 6 |
6
제5항에 있어서,상기 비교 특징은 상기 관심영역의 넓이와 상기 외부 환경에 대한 영상 넓이의 비율, 상기 관심영역에 대응되는 상기 외부 환경에 대한 영상의 복잡도, 또는 상기 관심영역에 대응되는 상기 외부 환경에 대한 영상의 색상 대비를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 7 |
7
제5항에 있어서,상기 객체 정보 검출부의 관심객체 추출은, 상기 복수의 특징맵 레이어 중 상기 입력 정보에 대해 정해진 적어도 하나의 객체 후보 추정 레이어를 활성화시키고, 상기 활성화된 객체 후보 레이어를 통해 상기 관심객체의 유형과 위치 정보를 추정하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 8 |
8
제1항에 있어서,상기 사용자의 응시점 정보 추정부는 상기 관심객체에 대한 응시 빈도 및 응시점 형성 시간 정보를 획득하고,상기 메타데이터 생성부는 상기 관심객체를 객체 유형별로 분류하고, 상기 관심객체에 대한 응시 빈도 및 응시점 형성 시간 정보를 객체 유형별로 분류된 상기 관심객체별로 기록하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 9 |
9
제1항에 있어서,상기 메타데이터 제공부는 사용자가 위치한 공간상에서 상기 관심객체별 크기 및 위치를 경계상자의 형태로 나타내고, 시간에 따른 상기 관심객체에 대한 응시 빈도에 따른 우선순위를 반영한 관심객체 지도를 생성하여 사용자가 위치한 주변 환경의 상기 관심객체 정보를 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 10 |
10
제9항에 있어서,상기 메타데이터 제공부는 시간에 따른 사용자의 상기 관심객체 변화와 상기 메타데이터 생성부로부터 갱신되는 상기 관심객체별 응시 빈도 정보를 수신하여 사용자의 관심도가 높은 순으로 관심객체를 분류하여 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 11 |
11
제9항에 있어서,상기 메타데이터 제공부는 사용자의 현재 응시점 위치와 응시점에 대응하는 관심객체, 및 시간에 따른 관심객체의 변화에 대한 응시점의 변화를 상기 각 관심객체에 대응하는 경계상자 및 상기 각 관심객체의 변화를 나타내는 이동 경로 표시의 형태로 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 12 |
12
제11항에 있어서,상기 이동 경로 표시는 시간에 따른 관심객체의 변화에 대한 응시점의 변화를, n-1번째 관심객체에 대한 사용자의 응시점으로부터 n번째 관심객체 지각시 대응되는 사용자의 응시점으로의 응시점 위치 변화를 나타내도록 제공되는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공장치
|
| 13 |
13
카메라로부터 사용자의 시선 방향으로 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법에 있어서,(a) 상기 외부 환경에 대한 영상 및 사용자의 양안 동공에 대한 영상 정보를 통해 외부 환경과 사용자의 시선에 따른 응시점 정보를 추정하는 단계;(b) 상기 외부 환경에 대한 영상 중, 상기 사용자의 응시점 정보 및 사전에 정해진 기준에 따라 사용자 응시점에 대응하는 관심영역을 생성하고, 사용자의 응시점에 대응되는 객체의 크기에 맞게 상기 관심영역의 크기를 조절하는 단계;(c) 상기 관심영역과 상기 관심영역에 대응하는 상기 외부 환경에 대한 영상의 특징에 따라 선택되는 복수의 특징맵 레이어 구조를 갖는 객체 검출 딥러닝 모델을 이용하여 상기 관심영역 내의 객체 정보를 검출하는 단계;(d) 상기 사용자 응시점 정보와 상기 관심객체 정보를 기초로 사용자의 시·지각 반응 정보를 포함하는 메타데이터를 생성하는 단계; 및(e) 상기 메타데이터를 기초로 사용자가 위치한 주변 환경의 상기 관심객체 정보와 상기 사용자의 시·지각 반응 정보를 동시에 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 14 |
14
제13항에 있어서,상기 사용자의 응시점 정보는 사용자가 위치한 공간 상의 응시점 위치, 및 사용자로부터의 응시 대상에 대한 응시 거리를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 15 |
15
제14항에 있어서,상기 (b) 단계는 상기 응시점 위치를 매개변수로 하여 관심영역의 기준 위치를 정의하고, 상기 응시 거리와 상기 응시점에 대응되는 객체의 폭 길이, 상기 외부 환경에 대한 영상의 너비, 및 외부 환경을 촬영하는 카메라 수평 화각을 매개변수로 하여 관심영역의 크기를 정의하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 16 |
16
제15항에 있어서,상기 (b) 단계는 상기 외부 환경에 대한 영상의 색상, 영상의 엣지, 및 영상의 깊이맵 정보를 매개변수로 포함하여 상기 관심영역의 폭을 조절하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 17 |
17
제13항에 있어서, 상기 (c) 단계는(c-1) 상기 (b) 단계에서 생성된 상기 관심영역과 상기 외부 환경에 대한 영상 간의 비교 특징을 입력 정보로 설정하는 단계; 및(c-2) 상기 비교 특징을 학습하여 상기 복수의 특징맵 레이어들을 선택적으로 조합하는 가변적 신경망을 구성하여 관심객체를 추출하는 단계를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 18 |
18
제17항에 있어서,상기 비교 특징은 상기 관심영역의 넓이와 상기 외부 환경에 대한 영상 넓이의 비율, 상기 관심영역에 대응되는 상기 외부 환경에 대한 영상의 복잡도, 또는 상기 관심영역에 대응되는 상기 외부 환경에 대한 영상의 색상 대비를 포함하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 19 |
19
제17항에 있어서,상기 (c-2) 단계는 상기 복수의 특징맵 레이어 중 상기 입력 정보에 대해 정해진 적어도 하나의 객체 후보 추정 레이어를 활성화시키고, 상기 활성화된 객체 후보 레이어를 통해 상기 관심객체의 유형과 위치 정보를 추정하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 20 |
20
제13항에 있어서,상기 (a) 단계는 상기 관심객체에 대한 응시 빈도 및 응시점 형성 시간 정보를 획득하고,상기 (d) 단계는 상기 관심객체를 객체 유형별로 분류하고, 상기 관심객체에 대한 응시 빈도 및 응시점 형성 시간 정보를 객체 유형별로 분류된 상기 관심객체별로 기록하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 21 |
21
제13항에 있어서,상기 (e) 단계는 사용자가 위치한 공간상에서 상기 관심객체별 크기 및 위치를 경계상자의 형태로 나타내고, 시간에 따른 상기 관심객체에 대한 응시 빈도에 따른 우선순위를 반영한 관심객체 지도를 생성하여 사용자가 위치한 주변 환경의 상기 관심객체 정보를 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 22 |
22
제21항에 있어서,상기 (e) 단계는 시간에 따른 사용자의 상기 관심객체 변화와 상기 메타데이터 생성부로부터 갱신되는 상기 관심객체별 응시 빈도 정보를 수신하여 사용자의 관심도가 높은 순으로 관심객체를 분류하여 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 23 |
23
제21항에 있어서,상기 (e) 단계는 사용자의 현재 응시점 위치와 응시점에 대응하는 관심객체, 및 시간에 따른 관심객체의 변화에 대한 응시점의 변화를 상기 각 관심객체에 대응하는 경계상자 및 상기 각 관심객체의 변화를 나타내는 이동 경로 표시의 형태로 제공하는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
| 24 |
24
제23항에 있어서,상기 이동 경로 표시는 시간에 따른 관심객체의 변화에 대한 응시점의 변화를, n-1번째 관심객체에 대한 사용자의 응시점으로부터 n번째 관심객체 지각시 대응되는 사용자의 응시점으로의 응시점 위치 변화를 나타내도록 제공되는 것을 특징으로 하는, 3차원 응시점 정보 기반 관심객체 검출 및 사용자 시지각 메타데이터 제공방법
|
