| 1 |
1
스테레오 영상 색상 보정 방법에 있어서, 서로 다른 위치와 시각에서 동일한 피사체를 촬영한 스테레오 영상을 입력받고 상기 스테레오 영상 중 하나를 색상을 보정할 대상이 되는 목표영상으로 정하고, 상기 목표영상이 아닌 나머지 하나의 영상을 참조영상으로 정하는 스테레오 영상입력 단계; 상기 목표영상과 상기 참조영상의 색상신호를 흑백영상신호로 변환하고, 상기 흑백영상신호 간의 지역적인 유사성을 이용하여 상기 목표영상과 상기 참조영상 간에 동일한 물체를 촬영한 지점으로 인식되는 대응점의 쌍들을 선별하되, 상기 목표영상과 상기 참조영상에 대하여 영상블록 단위로 해밍 거리를 산출하고, 상기 해밍 거리를 이용하여 상기 대응점의 쌍들을 선별하는 대응점 매칭 단계; 및 상기 대응점의 쌍을 색상신호를 이용하여 재선별하고, 상기 목표영상의 각 픽셀에 대하여, 상기 재선별된 대응점의 쌍 중 상기 참조영상의 대응점의 색상신호를 이용하여, 지역적으로 상기 목표영상의 색상신호를 보정하는 지역적 색상 변환 단계를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 2 |
2
제1항에 있어서, 상기 대응점 매칭 단계는, 상기 흑백영상신호를 이용하여 상기 목표영상의 각 픽셀별로, 상기 목표영상과 상기 참조영상에서 영상블록 단위로 벡터 간 연관성과 상기 해밍 거리를 계산하고 상기 벡터 간 연관성과 상기 해밍 거리를 이용하여 대응점 매칭 정확도를 산출하고, 상기 목표영상의 픽셀 주변의 각 픽셀들에 대하여 산출된 상기 대응점 매칭 정확도의 평균값을 기준으로, 상기 목표영상과 상기 참조영상 간에 상기 대응점의 쌍들을 선별하여 내는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 3 |
3
제2항에 있어서 상기 대응점 매칭 단계는, 상기 스테레오 영상의 각 픽셀별로, 상기 스테레오 영상의 픽셀과 동일한 수직좌표 값을 가지고 인접하고 색상이 유사하고 연속되어 분포하는 주변 픽셀들을 추출하여 일정한 크기의 선 영역을 구성하는 선 영역 구성 단계; 상기 스테레오 영상의 R(적색), G(녹색), B(청색) 색상신호를 가중치를 곱하고 합하여 상기 흑백영상신호로 변환하고, 상기 흑백영상신호를 필터링하여, 상기 스테레오 영상 각각에 대하여 선명화된 흑백영상신호를 생성하는 흑백 영상 변환 단계; 상기 목표영상에 대하여, 상기 흑백 영상 변환 단계에서 생성된 선명화된 흑백영상신호를 이용하여, 상기 목표영상의 각 픽셀을 중심으로 목표영상블록을 설정하고, 상기 목표영상의 픽셀으로부터 일정한 시차탐색범위 내에 위치하는 상기 참조영상의 픽셀들에 대하여 참조영상블록을 설정하고, 상기 목표영상블록과 상기 참조영상블록 간에, 상기 벡터 간 연관성과 상기 해밍 거리를 이용하여, 상기 목표영상의 픽셀과 상기 참조영상의 픽셀 간의 상기 대응점 매칭 정확도를 산출하는 매칭 정확도 산출 단계; 상기 목표영상에 대하여, 상기 목표영상의 상기 선 영역에서의 평균적인 상기 대응점 매칭 정확도를 기준으로, 상기 목표영상의 상기 참조영상과의 초기 시차를 산출하는 초기 시차 산출 단계; 및 상기 참조영상에 대하여 상기 매칭 정확도 산출 단계와 상기 초기 시차 산출 단계를 다시 수행하여 상기 참조영상의 상기 목표영상과의 상기 초기 시차를 산출하고, 상기 목표영상과 상기 참조영상에 대하여 각각 산출된 상기 초기 시차를 이용하여 상기 대응점의 쌍들을 선별하는 대응점 선별 단계를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 4 |
4
제3항에 있어서, 상기 선 영역 구성 단계는, 상기 목표영상의 각 픽셀별로, 상기 목표영상의 픽셀로부터 좌우로 미리 정해진 길이 범위 이내에 있고, 상기 목표영상의 픽셀의 R, G, B의 색상신호 모두에 대하여 일정한 크기 이내의 색차를 가지고, 상기 목표영상의 픽셀을 포함하여 연속적으로 분포하는, 주변 픽셀들의 집합을 상기 선 영역으로 구성하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 5 |
5
제3항에 있어서, 상기 흑백 영상 변환 단계는, 상기 스테레오 영상의 R, G, B 색상신호를 하기 식 1
|
| 6 |
6
제3항에 있어서, 상기 매칭 정확도 산출 단계는, 상기 목표영상의 픽셀을 중심으로 제1목표영상블록과 제2목표영상블록을 각각 설정하고, 상기 목표영상의 픽셀으로부터 상기 시차탐색범위 내에 위치하는 상기 참조영상의 픽셀들 각각에 대하여 상기 제1목표영상블록과 같은 크기를 가지는 제1참조영상블록과, 상기 제2목표영상블록과 같은 크기를 가지는 제2참조영상블록을 설정하고, 상기 제1목표영상블록과 상기 제1참조영상블록 간의 상기 벡터 간 연관성을 산출하고, 상기 제2목표영상블록과 상기 제2참조영상블록 간의 상기 해밍 거리를 산출하고, 하기 식 2
|
| 7 |
7
제6항에 있어서, 상기 벡터 간 연관성은 하기 식 3
|
| 8 |
8
제6항에 있어서, 상기 해밍 거리는, 상기 제2목표영상블록과 상기 제2참조영상블록 각각에 대하여, 영상블록 내의 픽셀들이 영상블록 중심 픽셀의 영상 신호값 보다 크거나 같으면 1으로, 작으면 0으로 값을 바꾸어서 디지털 2차원 행렬로 변환하고, 상기 변환된 디지털 2차원 행렬들을 상호 비교하여 같은 블록 좌표 인덱스에서 서로 다른 값을 가지는 인덱스의 수를 합산한 값으로 정하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 9 |
9
제6항에 있어서, 상기 대응점 매칭 정확도를 산출하기 위하여 적용되는 상기 가중연산을 위한 함수 는 하기 식 4
|
| 10 |
10
제3항에 있어서 상기 초기 시차 산출 단계는, 상기 목표영상의 각 픽셀에 대하여, 상기 목표영상의 픽셀에 대하여 구성된 상기 선 영역에 속하는 픽셀들 각각에 대하여 산출된 상기 대응점 매칭 정확도들의 평균값을 산출하고, 상기 평균값을 상기 목표영상의 픽셀의 평균 대응점 매칭 정확도로 정하고, 상기 시차탐색범위 내의 상기 참조영상의 픽셀들 중에서 상기 평균 대응점 매칭 정확도가 최대가 되는 픽셀을 찾고, 상기 찾아진 상기 참조영상의 픽셀과 상기 목표영상의 픽셀의 거리를 상기 목표영상의 픽셀에 대한 초기 시차로 정하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 11 |
11
제3항에 있어서, 상기 대응점 선별 단계는, 상기 목표영상과 상기 참조영상을 바꾸어 이전의 상기 참조영상을 새로운 목표영상으로 하고 이전의 목표영상을 새로운 참조영상으로 설정하고, 상기 참조영상에 대하여 상기 매칭 정확도 산출 단계와 상기 초기 시차 산출 단계를 새롭게 수행하여, 상기 참조영상의 픽셀에 대한 상기 초기 시차를 산출하고, 상기 목표영상의 각 픽셀에 대하여, 하기 식 5와 같이 상기 목표영상의 픽셀의 상기 초기 시차와 상기 참조영상의 픽셀의 상기 초기 시차가 서로 일치하는 경우, 상기 목표영상의 픽셀과 상기 참조영상의 픽셀을 상기 대응점의 쌍으로 선별하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 12 |
12
제1항에 있어서, 상기 지역적 색상 변환 단계는, 상기 대응점 매칭 단계에서 선별된 상기 대응점의 쌍에 대하여 대응점 간 색차를 산출하는 대응점 간 색차 산출 단계; 상기 대응점의 쌍을 색상신호 공간에서 보았을 때, 희소한 빈도로 색상신호 간에 대응되는 특성을 가지는 상기 대응점의 쌍들은 상기 대응점의 쌍에서 제외하여, 상기 대응점의 쌍들을 재선별하는 대응점 재선별 단계; 및 상기 목표영상의 각 픽셀에 대하여, 상기 대응점 재선별 단계에서 재선별된 대응점의 상기 대응점 간 색차를 이용하여, 지역적으로 상기 목표영상의 색상신호를 보정하는 가중색상 보정 단계를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 13 |
13
제12항에 있어서, 상기 대응점 간 색차 산출 단계에서, 상기 대응점 간 색차는 CIELab 색 공간의 색차 값을 이용하여 산출하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 14 |
14
제12항에 있어서, 상기 대응점 재선별 단계는, 상기 목표영상과 상기 참조영상 각각에 대하여 일정한 크기의 그리드 단위로 양자화된 3차원의 R, G, B 색상신호 공간을 설정하고, 상기 그리드 단위로 설정된 색상신호 공간에 상기 대응점의 쌍들을 배치하고, 상기 목표영상의 색상신호 공간의 모든 그리드 각각에 대하여 상기 참조영상의 색상신호 공간에서 가장 많은 상기 대응점의 쌍들이 존재하는 상기 그리드를 선별하여 상기 목표영상과 상기 참조영산 간의 상기 그리드의 쌍을 선별하고, 상기 선별된 그리드의 쌍들에 속하지 아니하는 상기 대응점의 쌍은 상기 대응점의 쌍에서 제외하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 15 |
15
제12항에 있어서, 상기 가중색상 보정 단계에서, 상기 목표영상의 각 픽셀에 대하여, 상기 목표영상의 픽셀이 상기 대응점 재선별 단계에서 상기 재선별된 대응점인 경우에 대하여, 상기 목표영상의 픽셀의 색상은 상기 재선별된 대응점의 상기 대응점 간 색차를 이용하여 보정하고, 상기 목표영상의 픽셀이 상기 재선별된 대응점이 아닌 경우에 대하여, 상기 목표영상의 픽셀의 색상은 상기 목표영상의 픽셀의 주변의 상기 재선별된 대응점의 상기 대응점 간 색차를 이용하여 보정하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 16 |
16
제15항에 있어서, 상기 가중색상 보정 단계는, 상기 목표영상의 픽셀이 상기 재선별된 대응점이 아닌 경우, 상기 목표영상의 픽셀 주변의 상기 재선별된 대응점들 중, 상기 목표영상의 픽셀과의 거리가 일정 거리 이내이고, 상기 재선별된 대응점의 상기 대응점 간 색차가 일정 크기보다 작은 경우의 상기 재선별된 대응점을 가중 색상 보정시 이용할 후보집단으로 정하고, 상기 후보집단에 속하는 대응점들의 상기 대응점 간 색차의 가중합을 이용하여, 상기 목표영상의 픽셀의 색상을 보정하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 17 |
17
제16항에 있어서, 상기 가중색상 보정 단계는, 상기 후보집단에 속하는 대응점들을 이용하여 하기 식 6 내지 식 9과 같이 상기 목표영상의 픽셀의 색상을 보정하는 것을 특징으로 하는 스테레오 영상 색상 보정 방법
|
| 18 |
18
스테레오 영상 색상 보정 장치에 있어서, 서로 다른 위치와 시각에서 동일한 피사체를 촬영한 스테레오 영상을 입력받고 상기 스테레오 영상 중 하나를 색상을 보정할 대상이 되는 목표영상으로 정하고, 상기 목표영상이 아닌 나머지 하나의 영상을 참조영상으로 정하는 스테레오 영상입력부; 상기 스테레오 영상입력부에서 입력받은 스테레오 영상의 색상신호를 흑백영상신호로 변환하고, 상기 흑백영상신호 간의 지역적인 유사성을 이용하여 상기 목표영상과 상기 참조영상 간에 동일한 물체를 촬영한 지점으로 인식되는 대응점의 쌍들을 선별하되, 상기 목표영상과 상기 참조영상에 대하여 영상블록 단위로 해밍 거리를 산출하고, 상기 해밍 거리를 이용하여 상기 대응점의 쌍들을 선별하는 대응점 매칭부; 및 상기 대응점의 쌍을 색상신호를 이용하여 재선별하고, 상기 목표영상의 각 픽셀에 대하여, 상기 재선별된 대응점의 쌍 중 상기 참조영상의 대응점의 색상신호를 이용하여, 지역적으로 상기 목표영상의 색상신호를 보정하는 지역적 색상 변환부를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 장치
|
| 19 |
19
제18항에 있어서 상기 대응점 매칭부는, 상기 스테레오 영상의 각 픽셀별로, 상기 스테레오 영상의 픽셀과 동일한 수직좌표 값을 가지고 인접하고 색상이 유사하고 연속되어 분포하는 주변 픽셀들을 추출하여 일정한 크기의 선 영역을 구성하는 선 영역 구성부; 상기 스테레오 영상의 R(적색), G(녹색), B(청색) 색상신호를 가중치를 곱하고 합하여 상기 흑백영상신호로 변환하고, 상기 흑백영상신호를 필터링하여, 상기 스테레오 영상 각각에 대하여 선명화된 흑백영상신호를 생성하는 흑백 영상 변환부; 상기 흑백 영상 변환부에서 생성된 선명화된 흑백영상신호를 이용하여, 상기 목표영상에 대하여, 상기 목표영상의 각 픽셀을 중심으로 목표영상블록을 설정하고, 상기 목표영상의 픽셀으로부터 일정한 시차탐색범위 내에 위치하는 상기 참조영상의 픽셀들에 대하여 참조영상블록을 설정하고, 상기 목표영상블록과 상기 참조영상블록 간에, 벡터 간 연관성과 상기 해밍 거리를 계산하고 상기 벡터 간 연관성과 상기 해밍 거리를 이용하여 상기 목표영상의 픽셀과 상기 참조영상의 픽셀 간의 대응점 매칭 정확도를 산출하고, 상기 참조영상에 대하여, 상기 참조영상의 각 픽셀을 중심으로 상기 목표영상블록을 설정하고, 상기 참조영상의 픽셀으로부터 일정한 상기 시차탐색범위 내에 위치하는 상기 목표영상의 픽셀들에 대하여 상기 참조영상블록을 설정하고, 상기 목표영상블록과 상기 참조영상블록 간에, 상기 벡터 간 연관성과 상기 해밍 거리를 계산하고 상기 벡터 간 연관성과 상기 해밍 거리를 이용하여 상기 참조영상의 픽셀과 상기 목표영상의 픽셀 간의 상기 대응점 매칭 정확도를 산출하는 매칭 정확도 산출부; 상기 목표영상의 상기 선 영역에서의 평균적인 상기 대응점 매칭 정확도를 기준으로 상기 목표영상의 상기 참조영상과의 초기 시차를 산출하고, 상기 참조영상의 상기 선 영역에서의 평균적인 상기 대응점 매칭 정확도를 기준으로 상기 참조영상의 상기 목표영상과의 상기 초기 시차를 산출하는 초기 시차 산출부; 및 상기 목표영상과 상기 참조영상에 대하여 각각 산출된 상기 초기 시차를 이용하여 상기 대응점의 쌍들을 선별하는 대응점 선별부를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 장치
|
| 20 |
20
제18항에 있어서, 상기 지역적 색상 변환부는, 상기 대응점 매칭부에서 선별된 상기 대응점의 쌍에 대하여 대응점 간 색차를 산출하는 대응점 간 색차 산출부; 상기 대응점의 쌍을 색상신호 공간에서 보았을 때, 희소한 빈도로 색상신호 간에 대응되는 특성을 가지는 상기 대응점의 쌍들은 상기 대응점의 쌍에서 제외하여, 상기 대응점의 쌍들을 재선별하는 대응점 재선별부; 및 상기 목표영상의 각 픽셀에 대하여, 상기 대응점 재선별부에서 재선별된 대응점의 상기 대응점 간 색차를 이용하여, 지역적으로 상기 목표영상의 색상신호를 보정하는 가중색상 보정부를 포함하는 것을 특징으로 하는 스테레오 영상 색상 보정 장치
|
| 21 |
21
제20항에 있어서, 상기 가중색상 보정부는, 상기 목표영상의 각 픽셀에 대하여, 상기 목표영상의 픽셀이 상기 대응점 재선별부에서 상기 재선별된 대응점인 경우에 대하여, 상기 목표영상의 픽셀의 색상은 상기 재선별된 대응점의 상기 대응점 간 색차를 이용하여 보정하고, 상기 목표영상의 픽셀이 상기 재선별된 대응점이 아닌 경우에 대하여, 상기 목표영상의 픽셀 주변의 상기 재선별된 대응점들 중, 상기 목표영상의 픽셀과의 거리가 일정 거리 이내이고, 상기 재선별된 대응점의 상기 대응점 간 색차가 일정 크기보다 작은 경우의 상기 재선별된 대응점을 가중 색상 보정시 이용할 후보집단으로 정하고, 상기 후보집단에 속하는 대응점들의 상기 대응점 간 색차의 가중합을 이용하여, 상기 목표영상의 픽셀의 색상을 보정하는 것을 특징으로 하는 스테레오 영상 색상 보정 장치
|
