| 1 |
1
실시간 영상을 스티칭 하는 방법에 있어서각 카메라로부터 참조 영상들을 입력 받고, 상기 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성하는 단계;상기 각 카메라로부터 실시간 영상들을 입력 받고, 상기 생성된 스티칭 관련 정보를 적용하여 와핑(warping)하는 단계;중첩영역에서 시차발생영역을 추적하는 단계;로서 상기 중첩영역은 각 실시간 영상들을 연결하여 파노라마 영상으로 출력할 경우 상기 와핑된 실시간 영상들 간의 중첩된 영역을 의미하고, 상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 단계;상기 시차를 감소시키는 보정을 수행한 경우 상기 와핑된 실시간 영상들 간의 비중첩영역에서 발생한 영상 왜곡을 보정하는 단계; 및상기 시차발생영역 및 비중첩영역에 대해 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력하는 단계; 를 포함하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 2 |
2
제 1항에 있어서상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 경우상기 시차발생영역의 각 정점들에 대해 디스크립터를 계산하고, 상기 계산된 디스크립터를 이용하여 상기 시차발생영역의 정점에서 발생한 시차를 감소시킬 수 있는 목표 정점을 찾고, 상기 시차발생영역의 정점과 상기 목표 정점을 매칭하여 영상의 보정을 수행하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 3 |
3
제 2항에 있어서상기 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 4 |
4
제 2항에 있어서상기 시차를 감소시킬 수 있는 목표 정점을 찾은 경우,상기 시차발생영역의 정점과 상기 목표 정점이 매칭된 정보에 기초하여상기 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 5 |
5
제 2항에 있어서상기 시차발생영역의 정점과 매칭되는 상기 목표 정점은상기 시차발생영역의 정점을 다른 임의의 정점들과 매칭하였을 경우 계산되는 시차를 고려하여,상기 다른 임의의 정점들 중 발생되는 시차가 가장 작은 값을 가질 수 있는 정점으로 선택되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 6 |
6
제 1항에 있어서상기 비중첩영역의 정점들에 대해 상기 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 상기 비중첩영역에서 발생한 영상 왜곡을 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 7 |
7
제 6항에 있어서상기 가중치는,비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값이 부여되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 8 |
8
제 1항에 있어서상기 시차 발생 영역을 추적하는 경우, 상기 참조 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들과 상기 입력 받은 실시간 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산하고, 상기 SSIM 값이 임계치 이하인 경우, 시차가 발생된 것으로 판단하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 9 |
9
제 8항에 있어서상기 SSIM 값을 계산하는 경우,상기 정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 10 |
10
제 9항에 있어서,상기 입력 영상의 픽셀을 특정값으로 나눈 크기로 상기 영상을 한 개 이상으로 구분하고,상기 구분된 하나의 영역이 상기 패치에 해당되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 11 |
11
제 1항에 있어서,상기 참조 영상들 각각에 대해 상기 제 1 룩업테이블 및 블렌딩 마스크를 생성하는 경우, 정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 12 |
12
제 11항에 있어서,상기 입력 영상의 픽셀을 특정값으로 나눈 크기로 상기 영상을 한 개 이상으로 구분하고,상기 구분된 하나의 영역이 상기 패치에 해당되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 방법
|
| 13 |
13
실시간 영상을 스티칭 하는 장치에 있어서실시간 영상들을 입력 받는 입력부;시차발생영역 및 비중첩영역에 대해 보정 처리된 영상들을 스티칭하여 파노라마 영상으로 출력하는 출력부;및 상기 입력 받은 실시간 영상들을 처리하는 제어부;를 포함하되,상기 제어부는각 카메라로부터 참조 영상들을 입력 받고, 상기 참조 영상들 각각에 대해 스티칭 관련 정보인 제 1 룩업 테이블(Look Up Table) 및 블렌딩 마스크(Blending Mask)를 생성하고,상기 생성된 스티칭 관련 정보를 적용하여 상기 입력 받은 실시간 영상들을 와핑(warping)하고,중첩영역에서 상기 시차발생영역을 추적하고, 상기 중첩영역은 각 실시간 영상들을 연결하여 파노라마 영상으로 출력할 경우 상기 와핑된 실시간 영상들 간의 중첩된 영역을 의미하며,상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하고,상기 시차를 감소시키는 보정을 수행한 경우 상기 와핑된 실시간 영상들 간의 상기 비중첩영역에서 발생한 영상 왜곡을 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 14 |
14
제 13항에 있어서상기 시차발생영역에 발생한 시차를 감소시키는 보정을 수행하는 경우시차 발생 영역의 각 정점들에 대해 디스크립터를 계산하고, 상기 계산된 디스크립터를 이용하여 상기 시차 발생 영역의 정점에서 발생한 시차를 감소시킬 수 있는 목표 정점을 찾고, 상기 시차발생영역의 정점과 상기 목표 정점을 매칭하여 영상의 보정을 수행하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 15 |
15
제 14항에 있어서상기 디스크립터는 HOG(Histograms of oriented gradients)와 LBP(Local Binary Patterns) 히스토그램이 결합된 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 16 |
16
제 14항에 있어서상기 시차를 감소시킬 수 있는 목표 정점을 찾은 경우,상기 시차발생영역의 정점과 상기 목표 정점이 매칭된 정보에 기초하여상기 제 1 룩업 테이블의 정보를 갱신하여 제 2 룩업 테이블을 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 17 |
17
제 13항에 있어서상기 비중첩영역의 정점들에 대해 상기 시차발생영역에서 검출된 시차에 기초한 가중치를 할당하여 보정하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 18 |
18
제 17항에 있어서상기 가중치는,비중첩영역의 정점들 중 중첩영역에 가까운 정점들에 더 높은 값이 부여되는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 19 |
19
제 13항에 있어서상기 시차 발생 영역을 추적하는 경우, 상기 참조 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들과 상기 입력 받은 실시간 영상을 와핑한 영상에서 상기 중첩영역에 해당되는 영역의 정점들에 대해 Structural Similarity Index(SSIM) 값을 계산하고, 상기 SSIM 값이 임계치 이하인 경우, 시차가 발생된 것으로 판단하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
| 20 |
20
제 19항에 있어서상기 SSIM 값을 계산하는 경우,상기 정점이 중점인 패치(patch) 단위로 처리하여 생성하는 것을 특징으로 하는 실시간 영상을 스티칭 하는 장치
|
