| 1 |
1
단안 카메라에서 획득된 컬러 영상 및 깊이 맵을 이용한 블록 3차원 모델링을 위한, 가변 시점에서 촬영된 카메라 왜곡 보정 방법으로서,(1) 상기 깊이 맵(Depth map)을 이진화하는 단계;(2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계;(3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계;(4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및(5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 2 |
2
제1항에 있어서, 상기 단계 (1) 이전에는,(0) 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징하는 단계를 더 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 3 |
3
제2항에 있어서, 상기 단계 (1)에서는,상기 단계 (0)에서 리사이징 된 깊이 맵을 이진화하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 4 |
4
제1항에 있어서, 상기 단계 (1)에서는,깊이 맵에 임계값 알고리즘을 통해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 5 |
5
제1항에 있어서, 상기 단계 (2)에서는,모폴로지 침식 연산(morphology erosion operation)의 결과와 상기 단계 (1)에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 6 |
6
제1항에 있어서, 상기 단계 (3)에서는,허프 변환(Hough Transform)을 이용하되, 상기 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 7 |
7
제1항에 있어서, 상기 단계 (5)는,(5-1) 상기 단계 (4)에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득하는 단계; 및(5-2) 상기 획득한 변환 행렬을 상기 컬러 영상 및 상기 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 8 |
8
제7항에 있어서, 상기 단계 (5-1)에서는,3×3의 변환 행렬을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정 방법
|
| 9 |
9
블록 3차원 모델링 방법으로서,단안 카메라에서 획득된 컬러 영상 및 깊이 맵에 대하여, 카메라 왜곡을 보정하는 왜곡 보정 단계(S100);상기 왜곡이 보정된 컬러 영상 및 깊이 맵을 이용해 블록 3차원 모델링을 수행하는 모델링 단계(S200)를 포함하며,상기 왜곡 보정 단계(S100)는,(1) 상기 깊이 맵(Depth map)을 이진화하는 단계;(2) 상기 단계 (1)에서 이진화 된 이진화 영상으로부터 영상의 에지 특징을 획득하는 단계;(3) 상기 단계 (2)에서 획득된 에지 특징 중에서 상, 하, 좌 및 우의 4개의 픽셀을 기준으로, 미리 설정된 각도 범위 내 직선에 포함된 픽셀의 개수가 가장 많은 직선을 대표로 선정하는 단계;(4) 상기 단계 (3)에서 선정된 직선을 기준으로, 4개의 직선 및 4개의 교차점을 추출하여 베이스 형태를 예측하는 단계; 및(5) 상기 예측한 베이스 형태를 통해 상기 컬러 영상 및 깊이 맵에 대해 영상의 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 10 |
10
제9항에 있어서, 상기 단계 (1) 이전에는,(0) 단안 카메라에서 획득된 컬러 영상과 깊이 맵을 리사이징하는 단계를 더 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 11 |
11
제10항에 있어서, 상기 단계 (1)에서는,상기 단계 (0)에서 리사이징 된 깊이 맵을 이진화하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 12 |
12
제9항에 있어서, 상기 단계 (1)에서는,깊이 맵에 임계값 알고리즘을 통해, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 전경을 추출하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 13 |
13
제9항에 있어서, 상기 단계 (2)에서는,모폴로지 침식 연산(morphology erosion operation)의 결과와 상기 단계 (1)에서 이진화 된 이진화 영상의 차 영상을 통해 영상의 에지 특징을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 14 |
14
제9항에 있어서, 상기 단계 (3)에서는,허프 변환(Hough Transform)을 이용하되, 상기 에지 특징의 전체 픽셀 대신 상, 하, 좌 및 우의 4개의 픽셀을 기준으로 허프 변환을 수행하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 15 |
15
제9항에 있어서, 상기 단계 (5)는,(5-1) 상기 단계 (4)에서 추출된 4개의 교차점과 원근 변환 결과 영상에 해당되는 4개의 점을 이용해 영상 보정을 위한 변환 행렬(map_matrix)을 획득하는 단계; 및(5-2) 상기 획득한 변환 행렬을 상기 컬러 영상 및 상기 깊이 맵의 이진화 영상에 적용하여 왜곡 정도를 보정하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 16 |
16
제15항에 있어서, 상기 단계 (5-1)에서는,3×3의 변환 행렬을 획득하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 17 |
17
제9항에 있어서, 상기 모델링 단계(S200)는,(a) 상기 왜곡 보정 단계(S100)에서 보정된 깊이 맵에 대하여, 가상의 모눈을 생성하는 단계;(b) 상기 단계 (a)에서 생성된 가상의 모눈을 이용해 블록을 생성하는 단계; 및(c) 상기 생성된 블록으로 3차원 모델을 생성하는 단계를 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 18 |
18
제17항에 있어서, 상기 단계 (a)에서는,상기 왜곡 보정 단계(S100)에서 보정된 깊이 맵의 이진화 영상을 기초로, 3차원 모델링의 대상이 되는 블록을 배경과 구분하여 추출된 전경의 크기에 따라 상기 가상의 모눈을 생성하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 19 |
19
제17항에 있어서, 상기 단계 (b) 및 단계 (c) 사이에는,(b-1) 상기 가상의 모눈 내에 포함된 픽셀의 HSV값을 이용해 미리 생성된 룩업 테이블과 비교하여 컬러를 매칭하는 단계; 및(b-2) 상기 단계 (b)에서 생성된 블록에 대해, 가장 많이 매칭된 컬러를 블록의 대표 컬러로 결정하는 단계를 더 포함하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
| 20 |
20
제19항에 있어서, 상기 단계 (b-1)에서는,미리 지정한 컬러의 평균 HSV 및 RGB 수치를 계산해 미리 생성된 룩업 테이블을 이용하며, 상기 가상의 모눈 내에 포함된 픽셀의 H값을 이용해 컬러를 매칭하되, 미리 정해진 색상에 대해서는 H값 및 V값을 이용해 컬러를 매칭하는 것을 특징으로 하는, 가변 시점에서 촬영된 카메라 왜곡 보정을 이용한 블록 3차원 모델링 방법
|
