| 1 |
1
프로세서에 의해 수행되는 복수의 이미지를 합성하는 방법에 있어서,복수의 특징점들을 포함하는 기준 이미지를 대상 이미지로 변환하는 호모그래피 행렬들(homography matrices)을 획득하는 단계;상기 복수의 호모그래피 행렬들에 기초하여, 상기 특징점들에 대한 워핑 잔차(warping residuals) 벡터들을 획득하는 단계;상기 워핑 잔차 벡터들에 기초하여, 상기 기준 이미지 내 기준 영역에 대한 상기 특징점들의 가중치들을 획득하는 단계;상기 가중치들 및 상기 호모그래피 행렬들에 기초하여, 상기 기준 영역에 대한 추정 변환 행렬을 획득하는 단계; 및상기 추정 변환 행렬을 상기 기준 영역에 적용함으로써, 상기 기준 이미지와 상기 대상 이미지를 합성하는 단계 를 포함하고,상기 복수의 호모그래피 행렬들에 기초하여, 상기 특징점들에 대한 워핑 잔차 벡터들을 획득하는 단계는상기 특징점들 각각에 대하여,상기 복수의 호모그래피 행렬들 각각을 적용하여, 대응되는 상기 대상 이미지 내 특징점과의 워핑 잔차를 계산하는 단계; 및상기 워핑 잔차들로 구성된 상기 워핑 잔차 벡터를 획득하는 단계를 포함하는복수의 이미지를 합성하는 방법
|
| 2 |
2
제1항에 있어서,상기 기준 이미지와 상기 대상 이미지를 합성하는 단계는상기 대상 이미지 내 대상 영역에 대한 제1 추정 역 변환 행렬을 획득하는 단계; 및상기 제1 추정 역 변환 행렬을 상기 대상 영역에 적용함으로써, 상기 기준 이미지와 상기 대상 이미지를 합성하는 단계를 포함하는복수의 이미지를 합성하는 방법
|
| 3 |
3
제2항에 있어서,상기 대상 영역에 포함된 픽셀들 및 상기 제1 추정 역 변환 행렬에 기초하여, 상기 대상 영역에 대한 워핑 손실을 계산하는 단계;상기 대상 영역의 중심 픽셀에 상기 제1 추정 역 변환 행렬 및 상기 추정 변환 행렬을 적용하여, 상기 대상 픽셀에 대한 워핑 거리를 계산하는 단계;상기 워핑 손실 및 상기 워핑 거리에 기초하여, 상기 제1 추정 역 변환 행렬의 보정 여부를 판단하는 단계; 및상기 판단에 기초하여, 상기 대상 이미지에 포함된 다른 영역들에 대한 추정 역 변환 행렬들 중 상기 워핑 손실이 적은 제2 추정 역 변환 행렬로 상기 제1 추정 역 변환 행렬을 보정하는 단계를 더 포함하는복수의 이미지를 합성하는 방법
|
| 4 |
4
제3항에 있어서,상기 제1 추정 역 변환 행렬을 보정하는 단계는상기 대상 영역에 기초하여, 상기 대상 이미지에 포함된 영역들 중 미리 정해진 기준에 따라 후보 영역들을 선택하는 단계;상기 후보 영역들 각각에 대한 상기 워핑 손실을 계산하는 단계; 및상기 워핑 손실에 기초하여, 후보 영역들 중 어느 하나에 대한 제2 추정 역 변환 행렬로 상기 제1 추정 역 변환 행렬을 보정하는 단계;상기 제2 추정 역 변환 행렬을 상기 대상 영역에 적용하는 단계; 및상기 제2 추정 역 변환 행렬이 적용된 대상 영역에 대응하는 상기 기준 이미지 내의 픽셀들에 기초하여, 상기 기준 이미지와 상기 대상 이미지를 합성하는 단계를 포함하는복수의 이미지를 합성하는 방법
|
| 5 |
5
제1항에 있어서,상기 복수의 특징점들을 포함하는 기준 이미지를 대상 이미지로 변환하는 호모그래피 행렬들(homography matrices)을 획득하는 단계는상기 기준 이미지 및 상기 대상 이미지에서 특징점들을 추출하는 단계;상기 기준 이미지의 특징점들에 대응하는 상기 대상 이미지의 특징점들을 매칭하는 단계; 및상기 특징점들의 매칭에 기초하여, 상기 변환 행렬들을 획득하는 단계를 포함하는복수의 이미지를 합성하는 방법
|
| 6 |
6
제5항에 있어서,상기 특징점들의 매칭에 기초하여, 매칭되는 특징점 쌍들을 포함하는 후보 매칭 세트를 획득하는 단계; 및상기 후보 매칭 세트에 대하여, 미리 정해진 중지 조건을 확인하면서 변환 행렬 추정 프로세스를 반복하는 단계를 더 포함하고,상기 변환 행렬 추정 프로세스는상기 후보 매칭 세트에서 아웃라이어 제거 알고리즘을 이용하여 제1 인라이어 매칭 세트를 추정하는 단계;상기 제1 인라이어 매칭 세트에 기초하여, 제1 변환 행렬을 추정하는 단계; 및상기 후보 매칭 세트에서 상기 제1 인라이어 매칭 세트를 제거하는 단계 를 포함하는복수의 이미지를 합성하는 방법
|
| 7 |
7
제1항에 있어서,상기 복수의 호모그래피 행렬들 각각은 상기 기준 이미지에 포함된 서로 다른 영역을 변환하는복수의 이미지를 합성하는 방법
|
| 8 |
8
삭제
|
| 9 |
9
제1항에 있어서,상기 기준 이미지에 포함된 피사체 간의 경계에 기초하여 상기 기준 이미지를 적어도 하나의 픽셀을 포함하는 복수의 픽셀 영역들로 분할하는 단계를 더 포함하고,상기 기준 영역은 상기 복수의 픽셀 영역들 중 어느 하나인복수의 이미지를 합성하는 방법
|
| 10 |
10
제9항에 있어서,상기 픽셀 영역은 슈퍼 픽셀인복수의 이미지를 합성하는 방법
|
| 11 |
11
제1항에 있어서,상기 기준 영역에 대한 상기 특징점들의 가중치들을 획득하는 단계는상기 복수의 특징점들 중 상기 기준 영역의 중심 픽셀과 가까운 특징점의 워핑 잔차 벡터를 상기 기준 영역에 대한 워핑 잔차 벡터로 획득하는 단계; 및상기 기준 영역에 대한 워핑 잔차 벡터 및 상기 특징점들에 대한 워핑 잔차 벡터들에 기초하여, 상기 기준 영역에 대한 가중치를 획득하는 단계를 포함하는복수의 이미지를 합성하는 방법
|
| 12 |
12
하드웨어와 결합되어 제1항 내지 제7항 및 제9항 내지 제11항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
| 13 |
13
복수의 특징점들을 포함하는 기준 이미지를 대상 이미지로 변환하는 호모그래피 행렬들(homography matrices)을 획득하고, 상기 복수의 호모그래피 행렬들에 기초하여, 상기 특징점들에 대한 워핑 잔차(warping residuals) 벡터들을 획득하고, 상기 워핑 잔차 벡터들에 기초하여, 상기 기준 이미지 내 기준 영역에 대한 상기 특징점들의 가중치들을 획득하고, 상기 가중치들 및 상기 호모그래피 행렬들에 기초하여, 상기 기준 영역에 대한 추정 변환 행렬을 획득하며, 상기 추정 변환 행렬을 상기 기준 영역에 적용함으로써, 상기 기준 이미지와 상기 대상 이미지를 합성하는 적어도 하나의 프로세서를 포함하고,상기 프로세서는상기 특징점들에 대한 워핑 잔차 벡터들을 획득함에 있어서,상기 특징점들 각각에 대하여, 상기 복수의 호모그래피 행렬들 각각을 적용하여, 대응되는 상기 대상 이미지 내 특징점과의 워핑 잔차를 계산하고, 상기 특징점들 각각에 대하여, 상기 워핑 잔차들로 구성된 상기 워핑 잔차 벡터를 획득하는복수의 이미지를 합성하는 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는상기 기준 이미지와 상기 대상 이미지를 합성함에 있어서, 상기 대상 이미지 내 대상 영역에 대한 제1 추정 역 변환 행렬을 획득하고, 상기 제1 추정 역 변환 행렬을 상기 대상 영역에 적용함으로써, 상기 기준 이미지와 상기 대상 이미지를 합성하고, 상기 대상 영역에 포함된 픽셀들 및 상기 제1 추정 역 변환 행렬에 기초하여, 상기 대상 영역에 대한 워핑 손실을 계산하고, 상기 대상 영역의 중심 픽셀에 상기 제1 추정 역 변환 행렬 및 상기 추정 변환 행렬을 적용하여, 상기 대상 픽셀에 대한 워핑 거리를 계산하고, 상기 워핑 손실 및 상기 워핑 거리에 기초하여, 상기 제1 추정 역 변환 행렬의 보정 여부를 판단하며, 상기 판단에 기초하여, 상기 대상 이미지에 포함된 다른 영역들에 대한 추정 역 변환 행렬들 중 상기 워핑 손실이 적은 제2 추정 역 변환 행렬로 상기 제1 추정 역 변환 행렬을 보정하는복수의 이미지를 합성하는 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는상기 제1 추정 역 변환 행렬을 보정함에 있어서, 상기 대상 영역에 기초하여, 상기 대상 이미지에 포함된 영역들 중 미리 정해진 기준에 따라 후보 영역들을 선택하고, 상기 후보 영역들 각각에 대한 상기 워핑 손실을 계산하고, 상기 워핑 손실에 기초하여, 후보 영역들 중 어느 하나에 대한 제2 추정 역 변환 행렬로 상기 제1 추정 역 변환 행렬을 보정하고, 상기 제2 추정 역 변환 행렬을 상기 대상 영역에 적용하며, 상기 제2 추정 역 변환 행렬이 적용된 대상 영역에 대응하는 상기 기준 이미지 내의 픽셀들에 기초하여, 상기 기준 이미지와 상기 대상 이미지를 합성하는복수의 이미지를 합성하는 장치
|
| 16 |
16
제13항에 있어서,상기 프로세서는상기 복수의 특징점들을 포함하는 기준 이미지를 대상 이미지로 변환하는 호모그래피 행렬들을 획득함에 있어서, 상기 기준 이미지 및 상기 대상 이미지에서 특징점들을 추출하고, 상기 기준 이미지의 특징점들에 대응하는 상기 대상 이미지의 특징점들을 매칭하고, 상기 특징점들의 매칭에 기초하여, 매칭되는 특징점 쌍들을 포함하는 후보 매칭 세트를 획득하며, 상기 후보 매칭 세트에 대하여, 미리 정해진 중지 조건을 확인하면서 변환 행렬 추정 프로세스를 반복하고,상기 변환 행렬 추정 프로세스는상기 후보 매칭 세트에서 아웃라이어 제거 알고리즘을 이용하여 제1 인라이어 매칭 세트를 추정하는 단계;상기 제1 인라이어 매칭 세트에 기초하여, 제1 변환 행렬을 추정하는 단계; 및상기 후보 매칭 세트에서 상기 제1 인라이어 매칭 세트를 제거하는 단계를 포함하는복수의 이미지를 합성하는 장치
|
| 17 |
17
삭제
|
| 18 |
18
제13항에 있어서,상기 프로세서는상기 기준 이미지에 포함된 피사체 간의 경계에 기초하여 상기 기준 이미지를 적어도 하나의 픽셀을 포함하는 복수의 슈퍼 픽셀로 분할하고,상기 기준 영역은 상기 복수의 슈퍼 픽셀 중 어느 하나인복수의 이미지를 합성하는 장치
|
| 19 |
19
제13항에 있어서,상기 프로세서는상기 기준 영역에 대한 상기 특징점들의 가중치들을 획득함에 있어서, 상기 복수의 특징점들 중 상기 기준 영역의 중심 픽셀과 가까운 특징점의 워핑 잔차 벡터를 상기 기준 영역에 대한 워핑 잔차 벡터로 획득하고, 상기 기준 영역에 대한 워핑 잔차 벡터 및 상기 특징점들에 대한 워핑 잔차 벡터들에 기초하여, 상기 기준 영역에 대한 가중치를 획득하는복수의 이미지를 합성하는 장치
|
