| 1 |
1
분할 영역 단위의 파노라마 영상 합성 방법으로서,(a) 복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 단계;(b) 상기 (a) 단계 이후에, 상기 전처리에 기반하여 상기 각 영상의 이미지 전체가 아니라 상기 각 영상 내의 각 분할 영역에 대하여 특징점을 추출하고, 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 단계; 및(c) 스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 단계, 를 포함하고,상기 (a) 단계는,상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 두 분할 영역을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정하고, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 분할 영역이 존재하지 않는 것으로 판단되는 분할 영역을 일대일 대응 관계를 갖지 않는 비대응 분할 영역으로 설정하며,상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 상기 복수의 이미지 센서 중 적어도 하나의 카메라로부터 거리가 먼 분할 영역일수록 낮게 부여되도록 설정하되, 상기 각 영상 내의 분할 영역 중 대응 분할 영역에 대응하는 두 분할 영역에는 동일한 깊이 지수가 부여되도록 하고,상기 (b) 단계는,상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭하고,상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 가장 가깝게 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭하고,상기 (c) 단계는,상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행하고,상기 스태킹 수행시, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행하고, 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용하며,상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소로부터 이웃한 거리가 먼 경계 화소에 대한 비중이 상기 빈 화소로부터 이웃한 거리가 가까운 경계 화소에 대한 비중 보다 낮게 부여되도록 상기 빈 화소의 화소 값을 보간하는 것인, 분할 영역 단위의 파노라마 영상 합성 방법
|
| 2 |
2
제1항에 있어서,상기 (a) 단계에서,상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고,상기 각 영상 내의 분할 영역별로 분류 라벨이 부여되는 것인, 분할 영역 단위의 파노라마 영상 합성 방법
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제1항에 있어서,상기 (c) 단계는,상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용하는 것인, 분할 영역 단위의 파노라마 영상 합성 방법
|
| 12 |
12
분할 영역 단위의 파노라마 영상 합성 장치로서,복수의 이미지 센서로부터 획득한 각 영상에 대하여 의미론적 영역 분할을 수행하고, 상기 의미론적 영역 분할에 의해 분할된 분할 영역의 이미지로부터 영역 정보를 추출하여 상기 각 영상 내의 분할 영역에 대한 전처리를 수행하는 전처리부;상기 의미론적 영역 분할을 수행하고 상기 전처리를 수행한 이후에, 상기 전처리에 기반하여 상기 각 영상의 이미지 전체가 아니라 상기 각 영상 내의 각 분할 영역에 대하여 특징점을 추출하고, 상기 각 영상 내의 분할 영역 간의 특징점을 매칭하여 호모그래피를 추출하고, 추출된 상기 호모그래피를 이용하여 상기 각 영상 내의 분할 영역 간 스티칭을 수행하는 스티칭부; 및스티칭된 상기 각 영상 내의 분할 영역에 대한 후처리를 통해 상기 각 영상이 합성된 합성 영상을 생성하는 생성부, 를 포함하고,상기 전처리부는,상기 각 영상 내의 분할 영역 간 유사도 비교에 기초하여, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 두 분할 영역을 일대일 대응 관계를 갖는 대응 분할 영역으로 설정하고, 상기 각 영상 내의 분할 영역 중 유사하다고 판단되는 분할 영역이 존재하지 않는 것으로 판단되는 분할 영역을 일대일 대응 관계를 갖지 않는 비대응 분할 영역으로 설정하며,상기 각 영상 내의 분할 영역에 대하여, 상기 각 영상 내의 분할 영역 간의 상대 깊이를 나타내는 깊이 지수를 상기 복수의 이미지 센서 중 적어도 하나의 카메라로부터 거리가 먼 분할 영역일수록 낮게 부여되도록 설정하되, 상기 각 영상 내의 분할 영역 중 대응 분할 영역에 대응하는 두 분할 영역에는 동일한 깊이 지수가 부여되도록 하고,상기 스티칭부는,상기 대응 분할 영역에 대하여 특징점을 추출하고, 추출된 특징점을 이용해 상기 대응 분할 영역 간의 호모그래피 행렬을 계산하여 상기 대응 분할 영역을 스티칭하고,상기 각 영상 내의 대응 분할 영역이 아닌 비대응 분할 영역에 대하여, 상기 비대응 분할 영역이 속한 영상 내에서 상기 비대응 분할 영역과 가장 가깝게 이웃하는 대응 분할 영역의 호모그래피 행렬을 이용하여 상기 비대응 분할 영역을 스티칭하고,상기 생성부는,상기 각 영상 내의 분할 영역에 대하여 설정된 깊이 지수를 고려하여, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역을 기준 영상 평면에 겹쳐 배치하는 스태킹을 수행하고,상기 스태킹 수행시, 스티칭된 대응 분할 영역과 스티칭된 비대응 분할 영역에 대하여 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 먼 분할 영역부터 거리가 가까운 분할 영역 순으로 스태킹을 수행하고, 복수의 분할 영역 간의 중첩 영역이 존재하는 것으로 판단되는 경우, 상기 중첩 영역의 화소 값을 상기 복수의 이미지 센서 중 적어도 하나로부터의 거리가 가장 가까운 분할 영역의 화소 값으로 적용하며,상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 화소 값이 부여되지 않은 빈 화소가 존재하는 것으로 판단되는 경우, 상기 빈 화소와 이웃하는 하나 이상의 분할 영역의 경계 화소들로부터의 거리를 고려하여 상기 빈 화소로부터 이웃한 거리가 먼 경계 화소에 대한 비중이 상기 빈 화소로부터 이웃한 거리가 가까운 경계 화소에 대한 비중 보다 낮게 부여되도록 상기 빈 화소의 화소 값을 보간하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치
|
| 13 |
13
제12항에 있어서,상기 분할 영역은 상기 의미론적 영역 분할에 의하여 상기 각 영상에서 검출된 객체에 기초하여 구분되고,상기 전처리부는,상기 각 영상 내의 분할 영역별로 분류 라벨을 부여하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
| 21 |
21
삭제
|
| 22 |
22
제12항에 있어서,상기 생성부는,상기 스태킹이 수행된 이후 상기 기준 영상 평면 내에 포함된 분할 영역 간의 경계에 대하여 미리 설정된 크기의 윈도우를 갖는 필터를 적용하는 것인, 분할 영역 단위의 파노라마 영상 합성 장치
|
| 23 |
23
제1항, 제2항 및 제11항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
