| 1 |
1
시선 상호작용 분석 시스템에 의해 수행되는 시선 상호작용 분석 방법에 있어서,스토리 기반의 영상 매체에서의 영상 정보를 입력받는 단계;상기 입력받은 영상 정보로부터 복원된 깊이 지도(depth map)와 상기 입력받은 영상 정보로부터 인식된 오브젝트(object) 정보를 시선 추적 모델을 이용하여 오브젝트의 시선 정보를 추적하는 단계;상기 추적된 오브젝트의 시선 정보가 상기 시선 추적 모델에 입력됨에 따라 상기 추적된 오브젝트의 시선 정보로부터 상대방 오브젝트의 시선 정보를 추적하는 단계; 및 상기 추적된 오브젝트의 시선 정보와 상기 추적된 상대방 오브젝트의 시선 정보에 기초하여 시선 상호작용 정보를 분류하는 단계를 포함하는 시선 상호작용 분석 방법
|
| 2 |
2
제1항에 있어서,상기 오브젝트는 상기 스토리 기반의 영상 매체에서의 등장인물들 중 말하는 화자를 의미하고, 상기 오브젝트의 시선 정보를 추적하는 단계는,상기 영상 정보를 깊이지도 생성 모델에 입력받고, 상기 깊이지도 생성 모델을 이용하여 상기 영상 정보로부터 깊이 지도를 생성하는 단계를 포함하는 시선 상호작용 분석 방법
|
| 3 |
3
제1항에 있어서,상기 오브젝트는 상기 스토리 기반의 영상 매체에서의 등장인물들 중 말하는 화자를 의미하고, 상기 오브젝트의 시선 정보를 추적하는 단계는,상기 영상 정보를 화자 인식 모델에 입력받고, 상기 화자 인식 모델을 이용하여 상기 영상 정보로부터 화자 인식 정보를 획득하는 단계를 포함하는 시선 상호작용 분석 방법
|
| 4 |
4
제1항에 있어서,상기 오브젝트의 시선 정보를 추적하는 단계는,상기 획득된 화자 인식 정보를 데이터베이스에 저장하는 단계를 포함하는 시선 상호작용 분석 방법
|
| 5 |
5
제1항에 있어서,상기 오브젝트의 시선 정보를 추적하는 단계는,상기 추적된 오브젝트의 시선 정보의 추적 결과를 데이터베이스에 저장하는 단계 를 포함하는 시선 상호작용 분석 방법
|
| 6 |
6
제1항에 있어서,상기 상대방 오브젝트는 상기 스토리 기반의 영상 매체에서의 등장인물들 중 화자를 응시하거나 또는 화자와 말하는 대상인 청자를 의미하고, 상기 상대방 오브젝트의 시선 정보를 추적하는 단계는,상기 추적된 청자의 시선 정보의 추적 결과를 데이터베이스에 저장하는 단계 를 포함하는 시선 상호작용 분석 방법
|
| 7 |
7
제1항에 있어서,상기 시선 상호작용 정보를 분류하는 단계는, 상기 추적된 오브젝트의 시선 정보와 상기 추적된 상대방 오브젝트의 시선 정보를 이용하여 상호작용 없음, 상호 응시, 시선 회피, 시선 추적 및 상호 관심을 포함하는 시선 상호작용 기준에 기초하여 시선 상호작용을 분류하는 단계를 포함하는 시선 상호작용 분석 방법
|
| 8 |
8
제7항에 있어서,상기 시선 상호작용 정보를 분류하는 단계는, 상기 분류된 시선 상호작용 중 상호 응시에 대응하는 시선 상호작용 데이터를 데이터베이스에 저장하는 단계 를 포함하는 시선 상호작용 분석 방법
|
| 9 |
9
제1항에 있어서,상기 시선 상호작용 정보를 분류하는 단계는, 상기 인식된 오브젝트의 결과, 상기 추적된 오브젝트의 시선 정보의 추적 결과, 상기 추적된 상대방 오브젝트의 시선 정보의 추적 결과 및 상호 응시에 대응하는 시선 상호작용 데이터를 포함하는 데이터베이스의 검색을 통해 시선 상호작용과 관련된 검색 정보를 제공하는 단계 를 포함하는 시선 상호작용 분석 방법
|
| 10 |
10
제9항에 있어서,상기 시선 상호작용 정보를 분류하는 단계는, 상기 분류된 시선 상호작용 정보를 통한 화자와 청자 간 상호작용 관계에 기초하여 등장인물의 성향, 갈등, 대화 판별, 대화 긍정 또는 부정 관계, 스토리 상의 주요 대화 인물, 주요 오브젝트를 분석하는 단계 를 포함하는 시선 상호작용 분석 방법
|
| 11 |
11
시선 상호작용 분석 시스템에 있어서,스토리 기반의 영상 매체에서의 영상 정보를 입력받는 입력부;상기 입력받은 영상 정보로부터 복원된 깊이 지도(depth map)와 상기 입력받은 영상 정보로부터 인식된 오브젝트(object) 정보를 시선 추적 모델을 이용하여 오브젝트의 시선 정보를 추적하는 화자 시선 추적부;상기 추적된 오브젝트의 시선 정보가 상기 시선 추적 모델에 입력됨에 따라 상기 추적된 오브젝트의 시선 정보로부터 상대방 오브젝트의 시선 정보를 추적하는 청자 인식부; 및 상기 추적된 오브젝트의 시선 정보와 상기 추적된 상대방 오브젝트의 시선 정보에 기초하여 시선 상호작용 정보를 분류하는 시선 상호작용 분류부를 포함하는 시선 상호작용 분석 시스템
|
| 12 |
12
제11항에 있어서,상기 화자 시선 추적부는,상기 영상 정보를 깊이지도 생성 모델에 입력받고, 상기 깊이지도 생성 모델을 이용하여 상기 영상 정보로부터 깊이 지도를 생성하고, 상기 영상 정보를 화자 인식 모델에 입력받고, 상기 화자 인식 모델을 이용하여 상기 영상 정보로부터 화자 인식 정보를 획득하는 것을 특징으로 하는 시선 상호작용 분석 시스템
|
| 13 |
13
제11항에 있어서,상기 시선 상호작용 분류부는,상기 추적된 오브젝트의 시선 정보와 상기 추적된 상대방 오브젝트의 시선 정보를 이용하여 상호작용 없음, 상호 응시, 시선 회피, 시선 추적 및 상호 관심을 포함하는 시선 상호작용 기준에 기초하여 시선 상호작용을 분류하는 것을 특징으로 하는 시선 상호작용 분석 시스템
|
| 14 |
14
제11항에 있어서,상기 인식된 오브젝트의 결과, 상기 추적된 오브젝트의 시선 정보의 추적 결과, 상기 추적된 상대방 오브젝트의 시선 정보의 추적 결과 및 상호 응시에 대응하는 시선 상호작용 데이터를 데이터베이스에 저장하는 저장부를 더 포함하는 시선 상호작용 분석 시스템
|
| 15 |
15
제13항에 있어서,상기 시선 상호작용 분류부는,상기 분류된 시선 상호작용 정보를 통한 화자와 청자 간 상호작용 관계에 기초하여 등장인물의 성향, 갈등, 대화 판별, 대화 긍정 또는 부정 관계, 스토리 상의 주요 대화 인물, 주요 오브젝트를 분석하는 것을 특징으로 하는 시선 상호작용 분석 시스템
|
