| 1 |
1
제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 단계;상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 단계;상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 단계;상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 단계; 및상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 단계를 포함하는깊이 영상 생성 방법
|
| 2 |
2
제1 항에 있어서,상기 제2 프레임 초기 깊이 영상을 생성하는 단계는상기 제1 프레임 컬러 영상, 상기 제1 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상에 대해 바이래터럴 필터링(bilateral filtering)하여 제2 프레임 초기 깊이 영상을 1차로 생성하는 단계; 및1차로 생성된 상기 제2 프레임 초기 깊이 영상과 상기 제1 프레임 깊이 영상에 대해 산출된 모션 벡터(motion vector)를 이용하여 상기 제1 프레임 깊이 영상을 와핑함으로써 상기 제2 프레임 초기 깊이 영상을 2차로 생성하는 단계를 포함하는,깊이 영상 생성 방법
|
| 3 |
3
제1 항에 있어서,상기 제1 슈퍼 픽셀 그룹을 생성하는 단계는상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하는 단계;상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하는 단계; 및재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성하는 단계를 포함하는깊이 영상 생성 방법
|
| 4 |
4
제3 항에 있어서,상기 제1 슈퍼 픽셀 그룹을 생성하는 단계에서,상기 중심 점 좌표인 는 아래 수학식에 따라 상기 기준 범위인 내에서 상기 컬러 값 차이인 , 상기 거리 값 차이인 , 상기 깊이 값 차이인 에 따라 재설정되는,,깊이 영상 생성 방법
|
| 5 |
5
제1 항에 있어서,상기 매칭하는 단계에서,선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는,깊이 영상 생성 방법
|
| 6 |
6
제5 항에 있어서,상기 모양 값 차이는상기 선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 너비 값 및 높이 값 차이인,깊이 영상 생성 방법
|
| 7 |
7
제1 항에 있어서,상기 제2 프레임 깊이 영상 중 깊이 정보가 없는 홀(hole)을 템플릿 매칭(template matching)하여 채우는 단계를 더 포함하는깊이 영상 생성 방법
|
| 8 |
8
제7 항에 있어서,상기 채우는 단계에서,상기 홀이 위치하는 제2 슈퍼 픽셀을 템플릿으로 하여 주변 픽셀 중 컬러 정보 차이가 가장 작은 영역을 탐색하여 매칭하고,매칭된 영역의 깊이 정보를 이용하여 상기 홀을 채우는,깊이 영상 생성 방법
|
| 9 |
9
제7 항에 있어서,제3 프레임 컬러 영상, 제3 프레임 깊이 영상, 및 상기 제2 프레임 컬러 영상을 이용하여 상기 제2 프레임 깊이 영상과 대응하는 제2 프레임 깊이 대응 영상을 생성하는 단계; 및상기 제2 프레임 깊이 영상과 상기 제2 프레임 깊이 대응 영상에 각각 가중치를 적용하여 더함으로써 상기 제2 프레임 깊이 영상을 보정하는 단계를 더 포함하는깊이 영상 생성 방법
|
| 10 |
10
제9 항에 있어서,상기 제2 프레임 깊이 영상에 아래 수학식에 따른 가중치 를 적용함으로써 가이디드 필터링(guided filtering)하는 단계를 더 포함하고,,상기 는 윈도우 내의 픽셀 개수이고, 상기 는 i 번째 컬러 정보이고, 상기 는 j 번째 컬러 정보이고, 상기 는 윈도우 내의 컬러 정보의 평균 값이고, 상기 는 윈도우 내의 컬러 정보의 표준편차 값인,깊이 영상 생성 방법
|
| 11 |
11
제1 프레임 컬러 영상, 제1 프레임 깊이 영상, 및 제2 프레임 컬러 영상을 이용하여 제2 프레임 초기 깊이 영상을 생성하는 제2 프레임 초기 깊이 영상 생성부;상기 제1 프레임 컬러 영상 및 상기 제1 프레임 깊이 영상을 이용하여 제1 프레임에 대한 제1 슈퍼 픽셀 그룹을 생성하는 제1 슈퍼 픽셀 그룹 생성부;상기 제2 프레임 컬러 영상 및 상기 제2 프레임 초기 깊이 영상을 이용하여 제2 프레임에 대한 제2 슈퍼 픽셀 그룹을 생성하는 제2 슈퍼 픽셀 그룹 생성부;상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는 매칭부; 및상기 제1 프레임 깊이 영상의 제1 슈퍼 픽셀 그룹을 매칭 관계에 따라 제2 슈퍼 픽셀 그룹에 와핑(warping)함으로써 제2 프레임 깊이 영상을 생성하는 제2 프레임 깊이 영상 생성부를 포함하는깊이 영상 생성 장치
|
| 12 |
12
제11 항에 있어서,상기 제1 슈퍼 픽셀 그룹 생성부는상기 제1 프레임 컬러 영상을 격자 단위로 영역 분할하고 각 영역에 대한 중심 점 좌표를 설정하고,상기 중심 점 좌표의 기준 범위 내에서 다른 픽셀과 컬러 값 차이, 거리 값 차이, 및 깊이 값 차이에 대한 최소 값을 갖는 위치로 상기 중심 점 좌표를 재설정하고,재설정된 상기 중심 점 좌표를 기준으로 재분할된 영역을 각각 제1 슈퍼 픽셀로 하여 상기 제1 슈퍼 픽셀 그룹을 생성하는,깊이 영상 생성 장치
|
| 13 |
13
제11 항에 있어서,상기 매칭부는선택된 제1 슈퍼 픽셀 및 제2 슈퍼 픽셀 간의 거리 값 차이, 컬러 값 차이, 및 모양 값 차이에 대한 최소 값을 갖도록 상기 제1 슈퍼 픽셀 그룹 및 상기 제2 슈퍼 픽셀 그룹을 매칭하는,깊이 영상 생성 장치
|
