| 1 |
1
사용자의 가시 영역에 대한 입력 영상 및 상기 사용자의 시선 시퀀스를 포함하는 시선 정보를 수신하는 단계; 상기 입력 영상의 프레임 별 세그먼테이션 영상 및 상기 시선 정보 각각의 입력 특성 별로 상기 입력 영상의 프레임을 분석하여 상기 프레임 별 세그먼테이션 영상에 적용되는 복수의 가중치 필터들을 생성하는 단계; 및 상기 복수의 가중치 필터들을 통합하여 상기 프레임 별 세그먼테이션 영상에 적용함으로써 상기 사용자의 관심 객체를 예측하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 2 |
2
제1항에 있어서, 상기 복수의 가중치 필터들을 생성하는 단계는상기 프레임 별 세그먼테이션 영상 내의 사용자의 시선 중심점과 시야각 정보를 기초로, 상기 사용자의 시선 위치 기반의 제1 필터를 생성하는 단계;상기 시선 시퀀스에 따른 시선 움직임 패턴을 기초로, 상기 사용자의 시선 움직임 기반의 제2 필터를 생성하는 단계; 및 상기 시선 시퀀스에서 상기 사용자의 인지 대상으로 추정되는 객체에 상기 사용자의 시선이 머무는 시간(duration)을 기초로, 상기 사용자의 시선 지속 기반의 제3 필터를 생성하는 단계중 적어도 둘을 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 3 |
3
제2항에 있어서, 상기 제1 필터를 생성하는 단계는상기 프레임 별 세그먼테이션 영상 내의 사용자의 시선 중심점과 시야각 정보를 기초로, 상기 프레임 별 세그먼테이션 영상에서 시선 중심(fovea)에 해당하는 제1 영역과 시선 외곽(parafovea)에 해당하는 제2 영역을 구분하는 단계; 및 상기 제1 영역 및 상기 제2 영역 별로 해당 픽셀(pixel)의 클래스 추정 확률에 대한 가중치(weight)를 달리 부여하여 상기 제1 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 4 |
4
제3항에 있어서, 상기 제1 영역과 상기 제2 영역을 구분하는 단계는상기 프레임 별 세그먼테이션 영상의 픽셀 별로 해당 픽셀이 상기 제1 영역과 상기 제2 영역 중 어느 영역에 속하는지를 구분하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 5 |
5
제3항에 있어서, 상기 가중치를 달리 부여하여 상기 제1 필터를 생성하는 단계는사람의 시각 정보 수용체의 분포 형태를 고려하여, 상기 제1 영역 및 상기 제2 영역 별로 해당 픽셀(pixel)의 클래스 추정 확률에 대한 가중치(weight)를 달리 부여하여 상기 제1 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 6 |
6
제3항에 있어서, 상기 가중치를 달리 부여하여 상기 제1 필터를 생성하는 단계는상기 제1 영역에 해당하는 제1 픽셀의 클래스 추정 확률에 제1 가중치를 부여하는 단계; 및 상기 제2 영역에 해당하는 제2 픽셀의 클래스 추정 확률에 제2 가중치를 부여하는 단계를 포함하고, 상기 제1 가중치는 상기 제2 가중치보다 큰 값을 가지는, 사용자의 관심 객체를 예측하는 방법
|
| 7 |
7
제2항에 있어서, 상기 제2 필터를 생성하는 단계는상기 시선 시퀀스에 따른 시선 움직임 패턴의 분류 결과와 상기 사용자의 인지 대상으로 추정되는 객체의 시각적 형태 사이의 연관성을 기초로, 상기 제2 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 8 |
8
제7항에 있어서, 상기 시선 움직임 패턴은 상기 사용자의 시선이 상기 객체에 고정되는 고정(fixation) 패턴, 상기 사용자의 시선이 제1 응시점에서 이격된 제2 응시점으로 신속하게 이동하는 도약 운동(saccade) 패턴, 및 상기 사용자의 시선이 상기 객체를 추적하는 추적(pursuit) 패턴 중 적어도 하나를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 9 |
9
제7항에 있어서, 상기 제2 필터를 생성하는 단계는상기 시선 시퀀스를 상기 시선 움직임 패턴 별로 분류하는 단계; 및 상기 사용자의 인지 대상으로 추정되는 객체의 시각적 형태 및 상기 객체가 내포하는 정보의 종류 중 적어도 하나를 기초로, 상기 시선 움직임 패턴 별로 상기 객체에 서로 다른 가중치를 부여하여 상기 제2 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 10 |
10
제9항에 있어서, 상기 시선 시퀀스를 상기 시선 움직임 패턴 별로 분류하는 단계는상기 시선 시퀀스에 대한 시계열 분석(Time series analysis)을 통해 상기 시선 시퀀스를 상기 시선 움직임 패턴 별로 분류하는 단계를 포함하는,사용자의 관심 객체를 예측하는 방법
|
| 11 |
11
제9항에 있어서, 상기 객체에 서로 다른 가중치를 부여하여 상기 제2 필터를 생성하는 단계는상기 프레임 별 세그먼테이션 영상에서 상기 객체의 시각적 형태 및 상기 객체가 내포하는 정보의 종류 중 적어도 하나를 기초로, 상기 시선 움직임 패턴 별로 상기 객체의 클래스 추정 확률에 서로 다른 가중치를 부여함으로써 상기 제2 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 12 |
12
제2항에 있어서, 상기 제3 필터를 생성하는 단계는상기 시선 시퀀스에 대한 시계열 분석을 통해 상기 시선 시퀀스에 따른 시선 움직임 패턴 별로 상기 객체에 상기 사용자의 시선이 머무는 시간을 분석하는 단계; 및 상기 시선 움직임 패턴 별로 상기 사용자의 시선이 머무는 시간 및 상기 객체의 시각적 형태에 따른 상기 사용자의 정보 수용 가능성을 기초로, 상기 객체에 서로 다른 가중치를 부여함으로써 상기 제3 필터를 생성하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 13 |
13
제1항에 있어서, 상기 사용자의 관심 객체를 예측하는 단계는 상기 복수의 가중치 필터들 중 적어도 두 개의 필터들을 통합하는 단계; 및 상기 통합된 필터를 상기 프레임 별 세그먼테이션 영상에 적용함으로써 상기 사용자의 관심 객체를 예측하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 14 |
14
제13항에 있어서, 상기 적어도 두 개의 필터들을 통합하는 단계는요소 별 곱셈(element-wise multiplication) 연산을 이용하여 상기 복수의 가중치 필터들 중 적어도 두 개의 필터들을 통합하는 단계를 포함하는, 사용자의 관심 객체를 예측하는 방법
|
| 15 |
15
하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 16 |
16
사용자의 가시 영역에 대한 입력 영상 및 상기 사용자의 시선 시퀀스를 포함하는 시선 정보를 수신하는 통신 인터페이스; 및 상기 입력 영상의 프레임 별 세그먼테이션 영상 및 상기 시선 정보 각각의 입력 특성 별로 상기 입력 영상의 프레임을 분석하여 상기 프레임 별 세그먼테이션 영상에 적용되는 복수의 가중치 필터들을 생성하고, 상기 복수의 가중치 필터들을 통합하여 상기 프레임 별 세그먼테이션 영상에 적용함으로써 상기 사용자의 관심 객체를 예측하는 프로세서를 포함하는, 사용자의 관심 객체를 예측하는 장치
|
| 17 |
17
제16항에 있어서, 상기 프로세서는상기 프레임 별 세그먼테이션 영상 내의 사용자의 시선 중심점과 시야각 정보를 기초로, 상기 사용자의 시선 위치 기반의 제1 필터를 생성하고, 상기 시선 시퀀스에 따른 시선 움직임 패턴을 기초로, 상기 사용자의 시선 움직임 기반의 제2 필터를 생성하거나, 또는 상기 제1 필터 및 상기 제2 필터를 생성하고, 상기 시선 시퀀스에서 상기 사용자의 인지 대상으로 추정되는 객체에 상기 사용자의 시선이 머무는 시간을 기초로, 상기 사용자의 시선 지속 기반의 제3 필터를 생성하는, 사용자의 관심 객체를 예측하는 장치
|
| 18 |
18
제17항에 있어서, 상기 프로세서는상기 프레임 별 세그먼테이션 영상 내의 사용자의 시선 중심점과 시야각 정보를 기초로, 상기 프레임 별 세그먼테이션 영상에서 시선 중심에 해당하는 제1 영역과 시선 외곽에 해당하는 제2 영역을 구분하고, 상기 제1 영역 및 상기 제2 영역 별로 해당 픽셀의 클래스 추정 확률에 대한 가중치를 달리 부여하여 상기 제1 필터를 생성하는, 사용자의 관심 객체를 예측하는 장치
|
| 19 |
19
제17항에 있어서, 상기 프로세서는상기 시선 시퀀스에 따른 시선 움직임 패턴의 분류 결과와 상기 사용자의 인지 대상으로 추정되는 객체의 시각적 형태 사이의 연관성을 기초로, 상기 제2 필터를 생성하는, 사용자의 관심 객체를 예측하는 장치
|
| 20 |
20
제17항에 있어서, 상기 프로세서는상기 시선 시퀀스에 대한 시계열 분석을 통해 상기 시선 시퀀스에 따른 시선 움직임 패턴 별로 상기 객체에 상기 사용자의 시선이 머무는 시간을 분석하고, 상기 시선 움직임 패턴 별로 상기 사용자의 시선이 머무는 시간 및 상기 객체의 시각적 형태에 따른 상기 사용자의 정보 수용 가능성을 기초로, 상기 객체에 서로 다른 가중치를 부여함으로써 상기 제3 필터를 생성하는,사용자의 관심 객체를 예측하는 장치
|
