| 1 |
1
대상체에 대한 색상 정보를 나타내는 색상 정보 영상 및 깊이 정보를 나타내는 깊이 영상을 획득하는 단계;상기 색상 정보 영상 및 상기 깊이 영상으로부터 상기 대상체를 나타내는 영역을 검출하는 단계; 상기 검출된 영역 내에 포함되는 상기 색상 정보 영상에 기초하여, 상기 깊이 영상을보정하는 단계; 및상기 색상 정보 영상 및 상기 보정된 깊이 영상을 재구성함으로써, 상기 대상체에 대한 포인트 클라우드를 생성하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 2 |
2
제1 항에 있어서,상기 깊이 영상을 보정하는 단계는,상기 색상 정보 영상에 포함되는 블록 내의 픽셀들의 색상 정보에 기초하여, 상기 픽셀들에 대한 색상 기반-가중치 맵을 생성하는 단계;상기 깊이 영상 및 상기 색상 기반-가중치 맵에 기초하여, 상기 블록에 대응하는 로컬 평면을 추정하는 단계;상기 깊이 영상 및 상기 추정된 로컬 평면에 기초하여 깊이 기반-가중치 맵을 생성하고, 상기 깊이 영상 및 상기 깊이 기반-가중치 맵에 기초하여 로컬 평면을 추정하는 동작을 반복하여 수행하는 단계; 및상기 로컬 평면을 추정하는 동작을 반복하여 수행한 결과에 기초하여 최종적으로 추정된 로컬 평면의 깊이 값들을 이용하여, 상기 깊이 영상을 보정하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 3 |
3
제2 항에 있어서,상기 픽셀들에 대한 색상 기반-가중치 맵을 생성하는 단계는,상기 블록에 포함되는 중심 픽셀로부터 다른 픽셀들까지의 거리 및 상기 중심 픽셀의 색상 값과 다른 픽셀들의 색상 값들의 차이에 기초하여, 상기 픽셀들에 대한 가중치를 계산하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 4 |
4
제2 항에 있어서,상기 깊이 영상 및 상기 색상 기반-가중치 맵에 기초하여, 상기 블록에 대응하는 로컬 평면을 추정하는 단계는, 상기 색상 기반-가중치 맵에 기초하여, 상기 깊이 영상과의 오차를 최소화하는 이차 곡면 평면을 상기 로컬 평면으로서 추정하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 5 |
5
제2 항에 있어서,상기 깊이 기반-가중치 맵을 생성하고 상기 로컬 평면을 추정하는 동작을 반복하여 수행하는 단계는, 상기 깊이 영상 및 상기 추정된 로컬 평면에 기초하여 상기 깊이 기반-가중치 맵을 생성하는 단계;상기 깊이 기반-가중치 맵에 기초하여, 상기 깊이 영상과의 오차를 최소화하는 이차 곡면 평면을 상기 로컬 평면으로서 추정하는 단계; 및상기 깊이 영상과 상기 추정된 로컬 평면 간의 오차가 임계 범위 내에 포함될 때까지, 상기 깊이 기반-가중치 맵을 생성하는 단계 및 상기 깊이 기반-가중치 맵에 기초하여 상기 로컬 평면을 추정하는 단계를 반복하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 6 |
6
제2 항에 있어서,상기 깊이 영상을 보정하는 단계는,상기 색상 정보 영상을 픽셀의 색상 정보에 기초하여, 복수의 블록들로 분할하는 단계; 및상기 복수의 블록들 중 하나인 상기 블록에 포함되는 픽셀들의 좌표 값들의 산술 평균값을 갖는 픽셀을 중심 픽셀로서 결정하는 단계를 더 포함하는, 포인트 클라우드 생성 방법
|
| 7 |
7
제1 항에 있어서,상기 포인트 클라우드를 생성하는 단계는,상기 보정된 깊이 영상으로부터 소정 개수의 픽셀들을 선택하는 단계;상기 색상 정보 영상으로부터 상기 선택된 픽셀들에 대응하는 색상 값들을 획득하는 단계; 상기 선택된 포인트들에 대한 깊이 값들과 상기 색상 값들을 매칭시킴으로써, 상기 소정 개수의 포인트들을 포함하는 상기 포인트 클라우드를 생성하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 8 |
8
제1 항에 있어서,상기 대상체에 대한 색상 정보 영상 및 깊이 영상을 획득하는 복수의 카메라들 각각의 좌표계를 공통 좌표계로 변환하기 위한, 회전 정보(rotation information) 및 이동 정보(translation information)를 획득하는 캘리브레이션 단계를 더 포함하는, 포인트 클라우드 생성 방법
|
| 9 |
9
제1 항에 있어서,상기 색상 정보 영상 및 상기 깊이 영상을 획득하는 단계는,복수의 카메라들을 통해서 상기 대상체에 대한 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 캡쳐하는 단계; 상기 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 캡쳐하는 동시에, 상기 복수의 카메라들을 통해서 오디오 신호들을 녹음하는 단계; 및상기 복수의 카메라들에서 녹음된 상기 오디오 신호들 간의 상관 관계(cross correlation)에 기초하여, 상기 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 동기화(synchronization)하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 10 |
10
제1 항에 있어서,상기 대상체를 나타내는 영역을 검출하는 단계는,상기 대상체가 없는 배경을 캡쳐한 배경 색상 영상으로부터 상기 색상 정보 영상을 제한 색상 차 영상(color difference image)을 획득하는 단계;상기 대상체가 없는 배경을 캡쳐한 배경 깊이 영상으로부터 상기 깊이 영상을 제한 깊이 차 영상(depth difference image)을 획득하는 단계; 및상기 색상 차 영상 및 상기 깊이 차 영상을 조합함으로써, 상기 대상체를 나타내는 영역을 결정하는 단계를 포함하는, 포인트 클라우드 생성 방법
|
| 11 |
11
복수의 카메라들로부터 대상체에 대한 색상 정보를 나타내는 색상 정보 영상 및 깊이 정보를 나타내는 깊이 영상을 획득하는, 통신부; 및상기 색상 정보 영상 및 상기 깊이 영상으로부터 상기 대상체를 나타내는 영역을 검출하고, 상기 검출된 영역 내에 포함되는 상기 색상 정보 영상에 기초하여, 상기 깊이 영상을보정하고, 상기 색상 정보 영상 및 상기 보정된 깊이 영상을 재구성함으로써, 상기 대상체에 대한 포인트 클라우드를 생성하는, 적어도 하나의 프로세서를 포함하는, 포인트 클라우드 생성 장치
|
| 12 |
12
제11 항에 있어서,상기 적어도 하나의 프로세서는,상기 색상 정보 영상에 포함되는 블록 내의 픽셀들의 색상 정보에 기초하여, 상기 픽셀들에 대한 색상 기반-가중치 맵을 생성하고, 상기 깊이 영상 및 상기 색상 기반-가중치 맵에 기초하여, 상기 블록에 대응하는 로컬 평면을 추정하고,상기 깊이 영상 및 상기 추정된 로컬 평면에 기초하여 깊이 기반-가중치 맵을 생성하는 동작 및 상기 깊이 영상 및 상기 깊이 기반-가중치 맵에 기초하여 로컬 평면을 추정하는 동작을 반복하여 수행하고, 상기 로컬 평면을 추정하는 동작을 반복하여 수행한 결과에 기초하여 최종적으로 추정된 로컬 평면의 깊이 값들을 이용하여, 상기 깊이 영상을 보정하는, 포인트 클라우드 생성 장치
|
| 13 |
13
제12 항에 있어서,상기 적어도 하나의 프로세서는, 상기 픽셀들에 대한 색상 기반-가중치 맵을 생성함에 있어서,상기 블록에 포함되는 중심 픽셀로부터 다른 픽셀들까지의 거리 및 상기 중심 픽셀의 색상 값과 다른 픽셀들의 색상 값들의 차이에 기초하여, 상기 픽셀들에 대한 가중치를 계산하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 14 |
14
제12 항에 있어서,상기 적어도 하나의 프로세서는, 상기 깊이 영상 및 상기 색상 기반-가중치 맵에 기초하여 상기 블록에 대응하는 로컬 평면을 추정함에 있어서, 상기 색상 기반-가중치 맵에 기초하여, 상기 깊이 영상과의 오차를 최소화하는 이차 곡면 평면을 상기 로컬 평면으로서 추정하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 15 |
15
제12 항에 있어서,상기 적어도 하나의 프로세서는, 상기 깊이 기반-가중치 맵을 생성하는 동작 및 상기 로컬 평면을 추정하는 동작을 반복하여 수행함에 있어서, 상기 깊이 영상 및 상기 추정된 로컬 평면에 기초하여 상기 깊이 기반-가중치 맵을 생성하고, 상기 깊이 기반-가중치 맵에 기초하여, 상기 깊이 영상과의 오차를 최소화하는 이차 곡면 평면을 상기 로컬 평면으로서 추정하고,상기 깊이 영상과 상기 추정된 로컬 평면 간의 오차가 임계 범위 내에 포함될 때까지, 상기 깊이 기반-가중치 맵을 생성하는 동작 및 상기 깊이 기반-가중치 맵에 기초하여 상기 로컬 평면을 추정하는 동작을 반복하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 16 |
16
제12 항에 있어서,상기 적어도 하나의 프로세서는, 상기 깊이 영상을 보정함에 있어서,상기 색상 정보 영상을 픽셀의 색상 정보에 기초하여, 복수의 블록들로 분할하고,상기 복수의 블록들 중 하나인 상기 블록에 포함되는 픽셀들의 좌표 값들의 산술 평균값을 갖는 픽셀을 중심 픽셀로서 결정하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 17 |
17
제11 항에 있어서,상기 적어도 하나의 프로세서는, 상기 포인트 클라우드를 생성함에 있어서,상기 보정된 깊이 영상으로부터 소정 개수의 픽셀들을 선택하고, 상기 색상 정보 영상으로부터 상기 선택된 픽셀들에 대응하는 색상 값들을 획득하고, 상기 선택된 포인트들에 대한 깊이 값들과 상기 색상 값들을 매칭시킴으로써, 상기 소정 개수의 포인트들을 포함하는 상기 포인트 클라우드를 생성하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 18 |
18
제11 항에 있어서,상기 적어도 하나의 프로세서는, 상기 대상체에 대한 색상 정보 영상 및 깊이 영상을 획득하는 복수의 카메라들 각각의 좌표계를 공통 좌표계로 변환하기 위한, 회전 정보(rotation information) 및 이동 정보(translation information)를 획득하는 캘리브레이션을 수행하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 19 |
19
제11 항에 있어서,상기 통신부는, 상기 색상 정보 영상 및 상기 깊이 영상을 획득함에 있어서,복수의 카메라들을 통해서 상기 대상체에 대한 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 캡쳐하고,상기 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 캡쳐하는 동시에, 상기 복수의 카메라들을 통해서 오디오 신호들을 녹음하고,상기 적어도 하나의 프로세서는,상기 복수의 카메라들에서 녹음된 상기 오디오 신호들 간의 상관 관계(cross correlation)에 기초하여, 상기 복수의 색상 정보 영상 프레임 세트들 및 깊이 영상 프레임 세트들을 동기화(synchronization)하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 20 |
20
제11 항에 있어서,상기 적어도 하나의 프로세서는, 상기 대상체를 나타내는 영역을 검출함에 있어서,상기 대상체가 없는 배경을 캡쳐한 배경 색상 영상으로부터 상기 색상 정보 영상을 제한 색상 차 영상(color difference image)을 획득하고, 상기 대상체가 없는 배경을 캡쳐한 배경 깊이 영상으로부터 상기 깊이 영상을 제한 깊이 차 영상(depth difference image)을 획득하고, 상기 색상 차 영상 및 상기 깊이 차 영상을 조합함으로써, 상기 대상체를 나타내는 영역을 결정하는 것을 특징으로 하는, 포인트 클라우드 생성 장치
|
| 21 |
21
포인트 클라우드 생성 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체를 포함하는 컴퓨터 프로그램 제품에 있어서, 상기 포인트 클라우드 생성 방법은,대상체에 대한 색상 정보를 나타내는 색상 정보 영상 및 깊이 정보를 나타내는 깊이 영상을 획득하는 단계;상기 색상 정보 영상 및 상기 깊이 영상으로부터 상기 대상체를 나타내는 영역을 검출하는 단계; 상기 검출된 영역 내에 포함되는 상기 색상 정보 영상에 기초하여, 상기 깊이 영상을보정하는 단계; 및상기 색상 정보 영상 및 상기 보정된 깊이 영상을 재구성함으로써, 상기 대상체에 대한 포인트 클라우드를 생성하는 단계를 포함하는, 컴퓨터 프로그램 제품
|
