| 1 |
1
복수 카메라로부터 복수의 비디오 스트림을 획득하는 단계;상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 단계; 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 단계; 및상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 단계를 포함하는 파노라믹 비디오를 스티칭하는 방법
|
| 2 |
2
제1항에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는,상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와,각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 3 |
3
제1항에 있어서, 상기 기준 영상 프레임 세트를 선택하는 단계는,상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하는 단계와,각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하는 단계와,추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하는 단계와, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 4 |
4
제1항에 있어서, 상기 스티칭 파라미터를 계산하는 단계는,상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와, 상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 5 |
5
제4항에 있어서, 상기 카메라 파라미터를 계산하는 단계는,적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하는 단계와, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 6 |
6
제1항에 있어서, 상기 파노라마 비디오를 생성하는 단계는, 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하는 단계와, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 7 |
7
제1항에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계를 더 포함하는 파노라믹 비디오를 스티칭하는 방법
|
| 8 |
8
제7항에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는, 기 설정된 주기마다 업데이트 신호를 발생시키는 단계와, 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 단계와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 단계와,상기 대응관계에 기초하여 카메라 파라미터를 계산하는 단계와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 9 |
9
제7항에 있어서, 상기 스티칭 파라미터를 업데이트하는 단계는,상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 단계와, 제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 단계와, 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 10 |
10
제9항에 있어서, 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 업데이트 신호를 발생시키는 단계를 더 포함하는 것인 파노라믹 비디오를 스티칭하는 방법
|
| 11 |
11
복수 카메라로부터 복수의 비디오 스트림을 획득하는 비디오 획득부;상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 기준 영상 프레임 세트 선택부; 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 스티칭 파라미터 계산부; 및상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 파노라마 비디오 생성부를 포함하는 파노라믹 비디오를 스티칭하는 장치
|
| 12 |
12
제11항에 있어서, 상기 기준 영상 프레임 세트 선택부는,상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 13 |
13
제11항에 있어서, 상기 기준 영상 프레임 세트 선택부는,상기 복수의 비디오 스트림에서 동일 시점에 촬영된 정지영상 프레임들을 조합하여 시점 별 영상 프레임 세트들을 생성하고, 각각의 영상 프레임 세트들을 구성하는 정지영상 프레임들로부터 특징점을 추출하고, 추출된 특징점의 개수가 기 설정된 최소 특징점 수 이상이 되는 영상 프레임 세트를 선별하고, 선별된 영상 프레임 세트들 중에서 추출된 특징점의 개수가 최대가 되는 영상 프레임 세트를 상기 기준 영상 프레임 세트로 선택하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 14 |
14
제11항에 있어서, 상기 스티칭 파라미터 계산부는,상기 기준 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하고, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하고, 상기 대응관계에 기초하여 카메라 파라미터를 계산하고, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 15 |
15
제14항에 있어서, 상기 스티칭 파라미터 계산부는,적어도 3개 이상의 특징 대응점으로부터 제곱 오류가 최소가 되는 카메라 파라미터 후보군을 선별하고, 상기 카메라 파라미터 후보군들을 다른 특징 대응점에 적용하여 제곱 오류가 최소가 되는 카메라 파라미터를 상기 카메라 파라미터 후보군 중에서 선택하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 16 |
16
제11항에 있어서, 상기 파노라마 비디오 생성부는, 상기 카메라 파라미터를 이용하여 x-y 좌표계의 정지영상 프레임들을 구면영상 좌표계의 변환 영상들로 변환하고, 상기 변환 영상에 상기 색 보정계수를 적용하여 색 보정을 수행한 후, 상기 변환 영상 간의 중첩되는 영역을 가중치 합하여 상기 정지영상 프레임들을 합성하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 17 |
17
제11항에 있어서, 상기 스티칭 파라미터를 업데이트하는 스티칭 파라미터 업데이트부를 더 포함하는 파노라믹 비디오를 스티칭하는 장치
|
| 18 |
18
제17항에 있어서, 상기 스티칭 파라미터 업데이트부는, 업데이트 신호를 발생시키는 업데이트 신호 생성부와, 상기 업데이트 신호가 발생한 시점에 해당하는 영상 프레임 세트를 구성하는 각각의 정지영상 프레임들로부터 특징점을 추출하는 영상 특징 추출부와, 정지영상 프레임들 간 특징점들을 정합하여 대응관계를 계산하는 특징 대응관계 계산부와,상기 대응관계에 기초하여 카메라 파라미터를 계산하는 카메라 파라미터 계산부와, 상기 카메라 파라미터에 기초하여 정지영상 프레임들을 정합할 때 중첩되는 영역의 색상이 일치하도록 하는 상기 색 보정계수를 계산하는 색 보정계수 계산부를 포함하는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 19 |
19
제18항에 있어서, 상기 업데이트 신호 생성부는,기 설정된 주기로 상기 업데이트 신호를 발생시키는 것인 파노라믹 비디오를 스티칭하는 장치
|
| 20 |
20
제18항에 있어서, 상기 업데이트 신호 생성부는,상기 복수의 비디오 스트림 각각에서 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 움직임을 계산하는 제1 움직임 계산부와, 제1 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제1 움직임이 기 설정된 제1 임계 값보다 큰 경우, 제2 비디오 스트림의 이전 정지영상 프레임(t-1)과 현재 정지영상 프레임(t) 간의 제2 움직임을 계산하는 제2 움직임 계산부와,상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 큰 경우, 혹은 상기 제1 움직임과 상기 제2 움직임 간의 차분이 기 설정된 제2 임계 값보다 작고, 상기 제1 움직임과 상기 제2 움직임 중 작은 값이 기 설정된 제3 임계 값보다 큰 경우, 비정상적 움직임인 것으로 판단하는 움직임 판단부를 포함하는 것인 파노라믹 비디오를 스티칭하는 장치
|
