| 1 |
1
카메라로부터 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 객체 및 상황 정보 제공장치에 있어서,상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정하는 응시 정보 추정부;상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출하는 객체 정보 검출부;상기 응시 정보를 매개변수로 하여 상기 객체의 중요도를 계산하는 객체 중요도 분석부;상기 외부 환경에 대한 영상, 상기 응시 정보, 상기 객체 정보, 및 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류하는 시지각 행동 분석부;상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 저장하는 객체 및 상황 정보 저장부; 및상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 사용자에게 제공하는 객체 및 상황 정보 제공부를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 2 |
2
제1항에 있어서,상기 응시 정보는 응시 위치, 응시 빈도, 및 응시 깊이를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 3 |
3
제2항에 있어서, 상기 객체 정보 검출부는상기 응시 위치와 상기 응시 깊이를 매개변수로 하여 관심 영역의 기준 위치와 크기를 정의하고, 상기 관심 영역에 속하지 않는 객체는 검출 대상에서 제외하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 4 |
4
제3항에 있어서, 상기 객체 정보 검출부는객체의 폭 길이, 영상의 너비, 및 카메라 수평 화각을 매개변수로 하여 관심 영역의 폭이 보정되도록 하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 5 |
5
제4항에 있어서, 상기 객체 정보 검출부는깊이 영상, 영상의 색상, 및 영상의 엣지 등을 매개변수로 더 포함하여 관심 영역의 폭이 추가로 보정되도록 하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 6 |
6
제1항에 있어서,검출된 객체에 대응하는 상기 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고, 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성하는 객체 지도 생성부를 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 7 |
7
제6항에 있어서, 상기 객체 지도 생성부는사용자의 응시 깊이 및 고정 응시점 정보를 통해 사용자와 객체 사이의 거리를 각각 측정하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 8 |
8
제7항에 있어서, 상기 객체 지도 생성부는사용자의 위치를 기준으로 하여 상기 객체들 사이의 상대 거리를 보정하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 9 |
9
제1항에 있어서, 상기 객체 중요도 분석부는사용자의 응시점이 고정 응시점을 형성하는 경우, 응시점과 객체 사이의 거리를 매개변수로 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 10 |
10
제1항에 있어서,상기 객체 및 상황 정보 제공장치는 웨어러블 디바이스로부터 사용자의 머리 움직임 변화량에 대한 정보를 더 수신하고,상기 시지각 행동 분석부는 사용자의 행동을 객체 및 상황 정보 탐색 동작, 및 객체 및 상황 정보 등록 동작으로 분류하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 11 |
11
제10항에 있어서, 상기 시지각 행동 분석부는상기 객체 및 상황 정보 탐색 동작을, 전역 정보 탐색 동작, 지역 정보 탐색 동작, 및 상황 정보 탐색 동작으로 분류하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 12 |
12
제10항에 있어서, 상기 시지각 행동 분석부는상기 객체 및 상황 정보 등록 동작을, 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 분류하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 13 |
13
제11항에 있어서, 상기 시지각 행동 분석부는사용자의 응시점 변화량에 비하여 사용자의 머리 움직임 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 전역 정보 탐색 동작으로 분류하고, 사용자의 머리 움직임 변화량에 비하여 사용자의 응시점 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 지역 정보 탐색 동작으로 분류하며, 사용자의 입력을 수신하는 경우 상기 사용자의 행동을 상황 정보 탐색 동작으로 분류하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 14 |
14
제12항에 있어서, 상기 시지각 행동 분석부는정적 객체에 대한 상기 사용자의 응시점이 고정 응시점을 형성하는 경우 상기 사용자의 행동을 전역 정보 등록 동작으로 분류하고, 동적 객체에 대한 응시점 추적이 발생한 경우 상황 정보 등록 동작으로 분류하고, 상기 전역 정보 등록 동작 후 안구의 단속 운동이 발견되거나 상기 사용자의 입력이 수신될 경우 지역 정보 등록 동작으로 분류하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 15 |
15
제14항에 있어서, 상기 객체 및 상황 정보 저장부는객체의 중요도가 사전에 정해진 조건을 만족할 때 상기 객체 정보를 저장하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 16 |
16
제14항에 있어서, 상기 객체 및 상황 정보 저장부는전역적 객체 정보 저장부, 지역적 객체 정보 저장부, 및 상황 정보 저장부를 포함하며,상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우, 해당 객체 정보가 전역적 객체 정보 저장부에 저장되며, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우 해당 객체 정보가 지역적 객체 정보 저장부에 저장되며, 상기 사용자의 행동이 상황 정보 등록 동작으로 분류된 경우, 상기 외부 환경에 대한 영상이 상황 정보 저장부에 저장되는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 17 |
17
제13항에 있어서, 상기 객체 및 상황 정보 제공부는전역적 객체 정보 제공부, 지역적 객체 정보 제공부, 및 상황 정보 제공부를 포함하며, 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 탐색 동작으로 분류된 경우 상기 전역적 객체 정보를 사용자에게 제공하고, 상기 사용자의 행동이 지역 정보 탐색 동작으로 분류된 경우 상기 지역적 객체 정보를 사용자에게 제공하며, 상기 사용자의 행동이 상황 정보 탐색 동작으로 분류된 경우 상기 외부 환경에 대한 영상 정보를 사용자에게 제공하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 18 |
18
제17항에 있어서, 객체 및 상황 정보 제공부는상기 객체 정보를 상기 사용자의 위치를 기준으로 중요도가 높은 순서대로 사용자에게 제공하는 것을 특징으로 하는, 객체 및 상황 정보 제공장치
|
| 19 |
19
카메라로부터 사용자의 시선 방향으로의 복수개의 객체가 포함된 외부 환경에 대한 영상 및 사용자의 동공의 위치에 대한 정보를 수신하여 처리하는 객체 및 상황 정보 제공장치에 의해 수행되는 객체 및 상황 정보 제공방법에 있어서,(a) 응시 정보 추정부가 상기 동공의 위치에 대한 정보를 통해 사용자의 시선에 따른 응시 정보를 추정하는 단계;(b) 객체 정보 검출부가 상기 외부 환경에 대한 영상 중, 사전에 정해진 기준에 따라 정의된 관심 영역 내의 객체 정보를 검출하는 단계;(c) 객체 중요도 분석부가 상기 응시 정보를 매개변수로 하여 상기 객체의 중요도를 계산하는 단계;(d) 시지각 행동 분석부가 상기 외부 환경에 대한 영상, 상기 응시 정보, 상기 객체 정보, 및 상기 사용자 입력 정보를 매개변수로 하여 사용자의 시지각 행동을 분류하는 단계;(e) 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 저장하는 단계; 및(f) 객체 및 상황 정보 제공부가 상기 시지각 행동 분석부의 사용자의 시지각 행동 분류에 따라 상기 객체 정보와 상기 외부 환경에 대한 영상을 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 20 |
20
제19항에 있어서,상기 응시 정보는 응시 위치, 응시 빈도, 및 응시 깊이를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 21 |
21
제20항에 있어서, 상기 (b) 단계는상기 객체 정보 검출부가 상기 응시 위치와 상기 응시 깊이를 매개변수로 하여 관심 영역을 정의하고, 상기 관심 영역에 속하지 않는 객체는 검출 대상에서 제외하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 22 |
22
제21항에 있어서, 상기 (b) 단계는상기 객체 정보 검출부가 객체의 폭 길이, 영상의 너비, 및 카메라 수평 화각을 매개변수로 하여 관심 영역의 폭을 보정하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 23 |
23
제22항에 있어서, 상기 (b) 단계는상기 객체 정보 검출부가 깊이 영상, 영상의 색상, 및 영상의 엣지 등을 매개변수로 더 포함하여 관심 영역의 폭을 추가로 보정하는 단계를 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 24 |
24
제19항에 있어서, 상기 (a) 단계와 상기 (b) 단계 사이에객체 지도 생성부가 검출된 객체에 대응하는 상기 외부 환경에 대한 영상 내의 복수의 특징점을 추출하고 상기 특징점들 사이의 상대 위치를 보정하여 객체 지도를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 25 |
25
제24항에 있어서, 상기 객체 지도를 생성하는 단계는객체 지도 생성부가 응시 깊이 및 고정 응시점 정보를 통해 사용자와 객체 사이의 거리를 각각 측정하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 26 |
26
제25항에 있어서, 상기 객체 지도를 생성하는 단계는상기 객체 지도 생성부가 사용자의 위치를 기준으로 하여 상기 객체들 사이의 상대 거리를 보정하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 27 |
27
제19항에 있어서, 상기 (c) 단계는상기 객체 중요도 분석부가 상기 사용자의 응시점이 고정 응시점을 형성하는 경우, 사용자의 응시점과 객체 사이의 상대거리 및 상기 객체들 사이의 사이의 각각의 거리를 매개변수로 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 28 |
28
제19항에 있어서, 상기 (d) 단계는상기 객체 및 상황 정보 제공장치는 웨어러블 디바이스로부터 사용자의 머리 움직임 변화에 대한 정보를 더 수신하고,상기 시지각 행동 분석부가 상기 사용자의 행동을 객체 및 상황 정보 탐색 동작, 및 객체 및 상황 정보 등록 동작으로 분류하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 29 |
29
제28항에 있어서, 상기 (d) 단계는상기 시지각 행동 분석부가 상기 객체 및 상황 정보 탐색 동작을, 전역 정보 탐색 동작, 지역 정보 탐색 동작, 및 상황 정보 탐색 동작으로 분류하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 30 |
30
제28항에 있어서, 상기 (d) 단계는상기 시지각 행동 분석부가 상기 객체 및 상황 정보 등록 동작을, 전역 정보 등록 동작, 지역 정보 등록 동작, 및 상황 정보 등록 동작으로 분류하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 31 |
31
제29항에 있어서, 상기 (d) 단계는상기 시지각 행동 분석부는 사용자의 응시점 변화량에 비하여 사용자의 머리 움직임 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 전역 정보 탐색 동작으로 분류하고, 사용자의 머리 움직임 변화량에 비하여 사용자의 응시점 변화량이 상대적으로 큰 경우 상기 사용자의 행동을 지역 정보 탐색 동작으로 분류하며, 사용자의 입력을 수신하는 경우 상기 사용자의 행동을 상황 정보 탐색 동작으로 분류하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 32 |
32
제30항에 있어서, 상기 (d) 단계는상기 시지각 행동 분석부가 정적 객체에 대한 사용자의 응시점이 고정 응시점을 형성하는 경우 상기 사용자의 행동을 전역 정보 등록 동작으로 분류하고, 동적 객체에 대한 응시점 추적이 발생한 경우 상황 정보 등록 동작으로 분류하고, 상기 전역 정보 등록 동작 후 안구의 단속 운동이 발견되거나 상기 사용자의 입력이 수신된 경우 지역 정보 등록 동작으로 분류하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 33 |
33
제32항에 있어서, 상기 (e) 단계는상기 객체 및 상황 정보 저장부는 전역적 객체 정보 저장부, 지역적 객체 정보 저장부, 및 상황 정보 저장부를 포함하며,상기 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우 상기 객체 정보를 전역적 정보 저장부로 저장하며, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우 상기 객체 정보를 지역적 정보 저장부로 저장하며, 상기 사용자의 행동이 상황 정보 등록 동작으로 분류된 경우 상기 외부 환경에 대한 영상을 상황 정보 저장부에 저장하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 34 |
34
제33항에 있어서, 상기 (e) 단계는상기 객체 및 상황 정보 저장부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 등록 동작으로 분류된 경우, 객체의 중요도가 사전에 정해진 조건을 만족할 때 상기 객체 정보를 저장하고, 상기 사용자의 행동이 지역 정보 등록 동작으로 분류된 경우, 객체의 상세 정보 또는 상기 사용자의 입력 정보를 지역적 정보 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 35 |
35
제33항에 있어서, 상기 (e) 단계는상기 객체 및 상황 정보 저장부에 상기 객체 정보가 사전에 저장되어 있는 경우, 상기 객체의 중요도를 갱신하는 단계를 더 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 36 |
36
제34항에 있어서, 상기 (f) 단계는상기 객체 및 상황 정보 제공부는 전역적 객체 정보 제공부, 지역적 객체 정보 제공부, 및 상황 정보 제공부를 포함하며,상기 객체 및 상황 정보 제공부가 상기 시지각 행동 분석부에서 상기 사용자의 행동이 전역 정보 탐색 동작으로 분류된 경우 상기 전역적 객체 정보를 사용자에게 제공하고, 상기 사용자의 행동이 지역 정보 탐색 동작으로 분류된 경우 상기 지역적 객체 정보를 사용자에게 제공하며, 상기 사용자의 행동이 상황 정보 탐색 동작으로 분류된 경우 상기 외부 환경에 대한 영상을 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
| 37 |
37
제36항에 있어서, 상기 (f) 단계는상기 객체 및 상황 정보 제공부가 상기 객체 정보를 상기 사용자의 위치를 기준으로 상기 객체의 중요도가 높은 순서대로 사용자에게 제공하는 것을 특징으로 하는, 객체 및 상황 정보 제공방법
|
