| 1 |
1
입력되는 RGB 영상과 깊이 영상을 정합하여 정합된 RGB-D 영상데이터를 출력하는 데이터 입력부; 상기 데이터 입력부로부터 출력되는 정합된 RGB-D 영상 데이터로부터 배경 이미지를 제거하고, 배경 이미지가 제거된 영상으로부터 사람영역을 추출하기 위한 후보영역과 상기 후보영역에 기 설정된 3차원 사람 모델을 적용시켜 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역 추출부에서 추출된 관심 영역에 대하여 정합된 RGB-D 영상 데이터의 유사도를 분석하여 깊이 영상을 보정하는 깊이 정보 보정부; 및 상기 깊이 정보 보정부에서 보정된 깊이 영상으로부터 사람영역을 추출하는 사람 영역 추출부를 포함하고, 상기 깊이 정보 보정부는, 상기 정합된 RGB 칼라 영상과 깊이 영상 데이터중 깊이 영상 데이터와 대응되는 RGB 영상데이터를 관심 영역 패치로 분할하고, 상기 분할된 각각의 관심 영역 패치에 대해서 영상 템플릿 유사도를 비교하여, 패치별 깊이 데이터를 보완하며, 상기 처리된 각각의 패치들을 통합하며, 통합된 패치들에 대하여 데이터 노이즈를 제거하기 위해서 패치 가장자리부분을 가우시안 필터링(Gaussian Filtering)과 같은 후처리를 수행하여 깊이 데이터를 보정하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 2 |
2
제1항에 있어서, 상기 데이터 입력부는, RGB 영상과 깊이 영상이 각각 입력되면, 카메라 내부 파라미터가 존재하는지 판단하고, 판단 결과, 두 카메라의 내부 파라미터(Intrinsic parameter)가 존재하는 경우, 상기 두 영상간 동일점을 추출하여 추출된 동일점의 매칭을 통한 영상 매칭 관계를 계산한 후, 계산된 매칭 관계에 따라 영상을 동기화시키는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 3 |
3
제2항에 있어서, 상기 데이터 입력부에서의 영상 동기화는, 카메라의 내부 파라미터의 존재 여부에 따른 결과로서 두 영상간의 대응되는 점의 위치를 계산하고, 두 영상중 해상도가 적은 영상을 기준으로 같은 크기를 가지고 대응하는 픽셀이 같은 위치에 존재하는 칼라 영상과 깊이 데이터를 동기화시키는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 4 |
4
제2항에 있어서, 상기 데이터 입력부는, 상기 판단 결과, 카메라의 내부 파라미터가 존재하지 않는 경우, RGB 영상과 깊이 영상간 동일점을 추출하고, 추출된 동일점의 매칭을 통한 영상 매칭관계를 계산하여 계산된 매칭 관계에 따라 2D 호모그래피 행렬(Homography Matrix)을 계산한 후 영상을 동기화하는 것인 RGB-D 영상 기반 사람 영역 추출장치
|
| 5 |
5
제1항에 있어서, 상기 관심 영역 추출부는, 상기 데이터 입력부를 통해 정합된 RGB-D 영상 데이터의 각 프레임간 영상의 모션 정보를 이용하여 정합된 RGB 영상과 깊이 영상으로부터 배경을 제거하고, 배경이 제거된 포그라운드 영상에 대해서 각각의 윤곽선을 계산하여 그룹핑한 후, 윤곽선으로 이루어진 데이터를 x, y 축으로 프로젝션시켜 바운딩 박스로 영역을 지정하며, 지정된 바운딩 박스 영역에서 스켈레톤 정보를 추출하여 관심 영역을 추출하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 6 |
6
제5항에 있어서, 상기 관심 영역 추출부는, 상기 추출된 스켈레톤 3차원 위치에 기 모델링된 3차원 원통형 모델을 정합시켜 정합된 3차원 원통형 모델의 영역이 사람이 있을 것으로 추측되는 관심영역으로 추출하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서, 상기 깊이 정보 보정부에서의 영상 템플릿 유사도를 비교는, Anat Levin의 colorization 방법을 이용하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 9 |
9
제1항에 있어서, 상기 사람 영역 추출부는, 깊이 데이터가 보정된 RGB-D 영상 데이가 입력되면, 3차원 거리 기반으로 상기 관심 영역 추출부에서 추출된 관심 영역을 그룹핑하고, 유효한 그룹을 찾기 위해서 스켈레톤 정보를 이용해서 유효하지 않은 그룹들을 제거한 후, 상기 그룹핑된 깊이 데이터 값과 대응되는 칼라 영상의 픽셀을 추출하며, 상기 추출된 RGB 픽셀을 이용하여 원본 영상에서 사람에 대한 RGB 영역을 추출하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 10 |
10
제9항에 있어서, 상기 사람 영역 추출부에서, 관심 영역 그룹핑은 K-mean 클러스터링(Clustering) 방법을 이용하여 그룹핑하는 것인 RGB-D 영상 기반 사람 영역 추출 장치
|
| 11 |
11
입력되는 RGB 영상과 깊이 영상을 RGB-D 영상 데이터로 정합하는 단계; 상기 정합된 RGB-D 영상 데이터로부터 배경 이미지를 제거하고, 배경 이미지가 제거된 영상으로부터 사람영역을 추출하기 위한 후보영역과 상기 후보영역에 기 설정된 3차원 사람 모델을 적용시켜 관심 영역을 추출하는 단계; 상기 추출된 관심 영역에 대하여 정합된 RGB-D 영상 데이터의 유사도를 분석하여 깊이 영상을 보정하는 단계; 및상기 보정된 깊이 영상으로부터 사람영역을 추출하는 사람 영역 추출부를 포함하고, 상기 깊이 영상을 보정하는 단계는, 상기 정합된 RGB 칼라 영상과 깊이 영상 데이터 중 깊이 영상 데이터와 대응되는 RGB 영상데이터를 관심 영역 패치로 분할하는 단계; 상기 분할된 각각의 관심 영역 패치에 대해서 영상 템플릿 유사도를 비교하는 단계; 상기 패치별 깊이 데이터를 보완하여, 상기 처리된 각각의 패치들을 통합하는 단계; 및상기 통합된 패치들에 대하여 데이터 노이즈를 제거하기 위해서 패치 가장자리부분을 가우시안 필터링(Gaussian Filtering)과 같은 후처리를 수행하여 깊이 데이터를 보정하는 단계를 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 12 |
12
제11항에 있어서, 상기 정합하는 단계는, RGB 영상과 깊이 영상이 각각 입력되면, 카메라 내부 파라미터가 존재하는지 판단하는 단계; 판단 결과, 두 카메라의 내부 파라미터(Intrinsic parameter)가 존재하는 경우, 상기 두 영상간 동일점을 추출하여 추출된 동일점의 매칭을 통한 영상 매칭 관계를 계산하는 단계; 및상기 계산된 매칭 관계에 따라 영상을 동기화시켜 정합하는 단계를 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 13 |
13
제12항에 있어서, 상기 영상을 동기화시켜 정합하는 단계는, 카메라의 내부 파라미터의 존재 여부에 따라 두 영상간의 대응되는 점의 위치를 계산하는 단계; 두 영상중 해상도가 적은 영상을 기준으로 같은 크기를 가지고 대응하는 픽셀이 같은 위치에 존재하는 칼라 영상과 깊이 데이터를 동기화시키는 단계를 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 14 |
14
제12항에 있어서, 상기 카메라 내부 파라미터가 존재하는지 판단하는 단계에서, 카메라의 내부 파라미터가 존재하지 않는 경우, RGB 영상과 깊이 영상간 동일점을 추출하는 단계; 상기 추출된 동일점의 매칭을 통한 영상 매칭관계를 계산하여 계산된 매칭 관계에 따라 2D 호모그래피 행렬(Homography Matrix)을 계산한 후 영상을 동기화하는 단계를 더 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 15 |
15
제11항에 있어서, 상기 관심 영역을 추출하는 단계는, 상기 정합된 RGB-D 영상 데이터의 각 프레임간 영상의 모션 정보를 이용하여 정합된 RGB 영상과 깊이 영상으로부터 배경을 제거하는 단계; 상기 배경이 제거된 포그라운드 영상에 대해서 각각의 윤곽선을 계산하여 그룹핑하는 단계; 상기 그룹핑된 윤곽선에 대한 데이터를 x, y 축으로 프로젝션시켜 바운딩 박스로 영역을 지정하는 단계; 및상기 지정된 바운딩 박스 영역에서 스켈레톤 정보를 추출하여 관심 영역을 추출하는 단계를 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 16 |
16
제15항에 있어서, 상기 관심 영역을 추출하는 단계는, 상기 추출된 스켈레톤 3차원 위치에 기 모델링된 3차원 원통형 모델을 정합시켜 정합된 3차원 원통형 모델의 영역이 사람이 있을 것으로 추측되는 관심영역으로 추출하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 17 |
17
삭제
|
| 18 |
18
제11항에 있어서, 상기 영상 템플릿 유사도를 비교하는 단계에서, 영상 템플릿 유사도 비교는 Anat Levin의 colorization 방법을 이용하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 19 |
19
제11항에 있어서, 상기 사람 영역을 추출하는 단계는, 깊이 데이터가 보정된 RGB-D 영상 데이터가 입력되면, 3차원 거리 기반으로 상기 관심 영역 추출부에서 추출된 관심 영역을 그룹핑하는 단계; 유효한 그룹을 찾기 위해서 스켈레톤 정보를 이용해서 유효하지 않은 그룹들을 제거하는 단계; 상기 그룹핑된 깊이 데이터 값과 대응되는 칼라 영상의 픽셀을 추출하는 단계; 상기 추출된 RGB 픽셀을 이용하여 원본 영상에서 사람에 대한 RGB 영역을 추출하는 단계를 포함하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
| 20 |
20
제19항에 있어서, 상기 관심 영역 그룹핑은 K-mean 클러스터링(Clustering) 방법을 이용하여 그룹핑하는 것인 RGB-D 영상 기반 사람 영역 추출 방법
|
