1 |
1
입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치에 있어서,상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 및상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
2 |
2
제 1 항에 있어서, 상기 매칭 모드 결정부는객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
3 |
3
제 1 항에 있어서, 상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
4 |
4
제 1 항에 있어서, 상기 모션 맵 생성부는현재 프레임과 이전 프레임 간의 16×16 단위 MAD(Mean Absolute Difference) 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
5 |
5
제 4 항에 있어서, 상기 매칭 모드 결정부는현재 프레임의 각각의 픽셀의 밝기 값을 모니터링하여 밝기 값이 상기 제 1 크기인 경우는 블록 기반 매칭 모드로, 상기 제 2 크기인 경우는 픽셀 기반의 매칭 모드로 결정하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
6 |
6
제 1 항에 있어서, 상기 매칭 수행부는블록 기반 매칭을 수행하는 블록 기반 매칭 수행부; 및픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
7 |
7
제 6 항에 있어서, 상기 픽셀 기반 매칭 수행부는 좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
8 |
8
제 7 항에 있어서, 상기 픽셀 기반 매칭 수행부는상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 좌영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이 및 우영상과 가운데 영상의 대응되는 픽셀의 밝기 값의 차이를 비교하여 더 작은 값을 갖는 차이 값을 매칭 에러로 계산하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
9 |
9
제 6 항에 있어서, 상기 블록 기반 매칭 수행부는좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
10 |
10
제 9 항에 있어서, 상기 블록 기반 매칭 수행부는상기 3차원 영상이 좌영상, 우영상 및 가운데 영상의 3개의 영상으로 구성되어 있을 경우, 가운데 영상을 기준으로 좌영상 또는 우영상의 대응되는 가운데 픽셀에 대해 밝기 값(Y) 차이 및 색차 신호(U,V) 차이, 주변 픽셀의 밝기 값(Y) 차이를 계산하여 매칭 에러를 계산하되, 밝기 값(Y)과 색차 신호(U,V)에 대해서 Y:U:V = 2:1:1의 가중치를 부여하고, 가운데 픽셀과 주변 픽셀의 밝기 값의 차이에 대해서는 2:1의 공간적 가중치를 부여함으로써, 가운데 영상과 좌영상에 대한 제 1 에러 및 가운데 영상과 우영상에 대한 제 2 에러를 계산하고, 상기 제 1 및 제 2 매칭 에러중 작은 값을 갖는 매칭 에러를 최종 매칭 에러로 계산하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
11 |
11
제 1 항에 있어서, 상기 초기 디스패리티 맵을 기반으로 디스패리티 값을 깊이 값으로 변환하여 깊이 맵을 생성하는 깊이 맵 생성부를 더 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치
|
12 |
12
입력되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법에 있어서,상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성 단계;상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정 단계; 및상기 결정된 매칭 모드에 따라 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
13 |
13
제 12 항에 있어서, 상기 매칭 모드 결정 단계는객체의 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 객체의 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스트레오 매칭을 수행하도록 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
14 |
14
제 12 항에 있어서, 상기 현재 프레임이 최초 프레임인 경우, 블록 기반 매칭 모드로 픽셀에 대한 매칭을 수행하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
15 |
15
제 12 항에 있어서, 상기 모션 맵 생성 단계는현재 프레임과 이전 프레임 간의 16×16 단위 MAD(Mean Absolute Difference) 값을 임계값(threshold)과 비교하여 임계값보다 클 경우는 제 1 크기의 밝기 값으로, 임계값보다 작은 경우는 제 2 크기의 밝기 값으로 설정하여 상기 모션 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
16 |
16
제 12 항에 있어서, 상기 매칭 수행 단계는 블록 기반 매칭을 수행하는 블록 기반 매칭 수행 단계; 및픽셀 기반 매칭을 수행하는 픽셀 기반 매칭 수행 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
17 |
17
제 16 항에 있어서, 상기 픽셀 기반 매칭 수행 단계는 좌영상과 우영상에서의 대응되는 픽셀의 밝기 값을 비교하여 매칭 에러를 계산하고, 상기 매칭 에러 값을 갖는 디스패러티 값을 픽셀 단위로 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
18 |
18
제 16 항에 있어서, 상기 블록 기반 매칭 수행 단계는좌영상과 우영상의 대응되는 3×3 블록의 가운데 픽셀의 밝기 값 차이 및 색차 신호 차이, 주변 픽셀 - 주변 픽셀은 3×3 블록의 가운데 픽셀 주변의 나머지 8개의 픽셀을 의미함 - 의 밝기 값(Y) 차이를 기반으로 매칭 에러를 계산하되, 가운데 픽셀과 주변 픽셀에 대한 공간적 거리 비율을 고려한 가중치를 고려하여 매칭 에러를 계산하고, 상기 계산된 매칭 에러 값을 갖는 디스패러티 값을 추정하여 초기 디스패리티 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 방법
|
19 |
19
입력되는 3차원 영상에 대한 스테레오 매칭 장치을 통한 3차원 영상 스트림 전송 장치에 있어서,상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;상기 모션 맵을 기반으로 픽셀에 객체의 움직임이 있는지 여부를 판단하여 각 픽셀에 대한 스테레오 매칭 모드를 결정하는 매칭 모드 결정부; 상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부; 상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부;상기 생성된 깊이 맵을 기반으로 압축 부호화를 수행하는 부호화부; 및상기 부호화된 3차원 영상 스트림을 수신측으로 전송하는 전송부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치
|
20 |
20
수신되는 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭을 통한 재생 장치에 있어서,상기 3차원 영상 - 3차원 영상은 좌영상 및 우영상을 포함함 - 을 복호화하는 복호화부;상기 복호화된 3차원 영상의 현재 프레임과 이전 프레임을 비교하여 현재 프레임 내의 객체의 움직임을 구분하는 모션 맵을 생성하는 모션 맵 생성부;상기 모션 맵을 기반으로 움직임이 있는 픽셀은 블록 기반 매칭 모드로, 움직임이 없는 픽셀은 픽셀 기반 매칭 모드로 스테레오 매칭을 하도록 결정하는 매칭 모드 결정부;상기 결정된 매칭 모드에 따라 현재 프레임에 대한 스테레오 매칭을 수행하고 매칭 결과를 기반으로 초기 디스패리티 맵을 생성하는 매칭 수행부; 상기 초기 디스패리티 맵을 기반으로 깊이 맵을 생성하는 깊이 맵 생성부; 및상기 생성된 깊이 맵을 기반으로 상기 3차원 영상을 재생하는 재생부를 포함하는 것을 특징으로 하는 3차원 영상에 대한 스테레오 매칭을 통한 재생 장치
|