| 1 |
1
복수개의 카메라에서 동시에 얻어진 K개의 영상을 기초로 딥러닝 네트워크의 학습을 위한 데이터 셋을 구성하는 단계;상기 영상 중 K/2 개의 영상을 기초로 인코딩 특징 맵, 스킵 커넥션 특징 맵 및 디코딩 특징 맵을 추출하는 단계;상기 인코딩 특징 맵을 기초로 멀티 호모그래피를 추정하는 단계;상기 디코딩 특징 맵을 기초로 플로우 조정 맵, 전처리 블렌딩 맵, 가중치 맵 및 후처리 블렌딩 맵을 추정하는 단계;상기 멀티 호모그래피 및 상기 플로우 조정 맵을 기초로 플로우 맵을 도출하는 단계;상기 전처리 블렌딩 맵을 기초로 전처리된 영상을 생성하는 단계;상기 전처리된 영상 및 상기 플로우 맵을 기초로 복수개의 워핑 영상을 생성하는 단계;상기 복수개의 워핑 영상 및 가중치 맵을 기초로 정합 영상을 생성하는 단계; 및상기 정합 영상 및 상기 후처리 블렌딩 맵을 기초로 상기 정합 영상을 보정하여 출력 영상을 생성하는 단계;를 포함하는 파노라마 영상 생성 방법
|
| 2 |
2
제1항에 있어서,상기 데이터 셋을 구성하는 단계는,상기 영상을 캘리브레이션, 비네팅 영역 제거, 영상의 RGB 색 보정 중 적어도 하나를 수행하여 상기 데이터 셋을 구성하는 파노라마 영상 생성 방법
|
| 3 |
3
제1항에 있어서,상기 인코딩 특징 맵, 상기 스킵 커넥션 특징 맵 및 상기 디코딩 특징 맵을 추출하는 단계는,상기 영상 중 K/2 개의 영상을 제1 딥러닝 네트워크의 입력으로 하여 상기 인코딩 특징 맵 및 상기 스킵 커넥션 특징 맵을 추출하는 단계; 및상기 인코딩 특징 맵 및 상기 스킵 커넥션 특징 맵을 제2 딥러닝 네트워크의 입력으로 하여 상기 디코딩 특징 맵을 추출하는 단계;를 포함하는 파노라마 영상 생성 방법
|
| 4 |
4
제1항에 있어서,상기 멀티 호모그래피를 추정하는 단계는,상기 인코딩 특징 맵을 제3 딥러닝 네트워크의 입력으로 하여, 상기 K/2 개의 영상의 방향 당 사용자가 초기 설정한 깊이 구간의 N개의 호모그래피를 생성하여 멀티 호모그래피를 추정하는 단계;를 포함하는 파노라마 영상 생성 방법
|
| 5 |
5
제1항에 있어서,상기 플로우 조정 맵을 추정하는 단계는,상기 디코딩 특징 맵을 제4 딥러닝 네크워크의 입력으로 하여 플로우 맵을 미세 조정하기 위한 플로우 조정 맵을 추정하는 파노라마 영상 생성 방법
|
| 6 |
6
제1항에 있어서,상기 전처리 블렌딩 맵을 추정하는 단계는,상기 디코딩 특징 맵을 제5 딥러닝 네트워크의 입력으로 하여 각 영상의 RGB 채널 별 색상 블렌딩 전처리를 실시하기 위한 전처리 블렌딩 맵을 추정하는 파노라마 영상 생성 방법
|
| 7 |
7
제1항에 있어서,상기 가중치 맵을 추정하는 단계는,상기 디코딩 특징 맵을 제6 딥러닝 네트워크의 입력으로 하여 워핑 영상 가중합에 사용될 복수개의 가중치 맵을 추정하는 파노라마 영상 생성 방법
|
| 8 |
8
제1항에 있어서,상기 후처리 블렌딩 맵을 추정하는 단계는,상기 디코딩 특징 맵을 제7 딥러닝 네트워크의 입력으로 하여 정합된 파노라마 영상의 RGB 채널 별로 적용할 후처리 블렌딩 맵을 추정하는 파노라마 영상 생성 방법
|
| 9 |
9
제1항에 있어서,상기 플로우 맵을 도출하는 단계는,상기 멀티 호모그래피를 제8 딥러닝 네트워크의 입력으로 하여 최초 플로우 맵을 생성하여 최초 플로우 맵을 생성하고, 상기 최초 플로우 맵에 상기 플로우 조정 맵을 더하여 최종 플로우 맵을 도출하는 파노라마 영상 생성 방법
|
| 10 |
10
제1항에 있어서,상기 전처리된 영상을 생성하는 단계는,상기 영상 및 상기 전처리 블렌딩 맵을 제9 딥러닝 네트워크의 입력으로 하여 상기 전처리된 영상을 생성하는 파노라마 영상 생성 방법
|
| 11 |
11
제1항에 있어서,상기 워핑 영상을 생성하는 단계는,상기 전처리된 영상 및 플로우 맵을 제10 딥러닝 네트워크의 입력으로 하여 상기 전처리된 영상의 각 픽셀을 이동시켜 워핑 영상을 생성하는 파노라마 영상 생성 방법
|
| 12 |
12
제1항에 있어서,상기 정합 영상을 생성하는 단계는,상기 복수의 워핑 영상 및 상기 가중치 맵을 제11 딥러닝 네트워크의 입력으로 하여, 상기 복수개의 워핑 영상과 같은 개수를 가지는 가중치 맵 간의 아다마르 곱 연산을 수행한 뒤, 이를 모두 가중합하여 정합 영상을 생성하는 파노라마 영상 생성 방법
|
| 13 |
13
제1항에 있어서,상기 출력 영상을 생성하는 단계는,상기 정합 영상 및 상기 후처리 블렌딩 맵을 제12 딥러닝 네크워크의 입력으로 하여, 상기 정합 영상을 상기 후처리 블렌딩 맵으로 보정하여 출력 영상을 생성하는 파노라마 영상 생성 방법
|
| 14 |
14
제1항에 있어서,상기 출력 영상 및 상기 데이터 셋 중 정답으로 사용될 나머지 K/2 개의 영상을 기초로 손실 함수를 계산하는 단계를 더 포함하는 파노라마 영상 생성 방법
|
| 15 |
15
제14항에 있어서,상기 손실 함수를 기초로 상기 딥러닝 네트워크를 업데이트하는 단계를 더 포함하는 파노라마 영상 생성 방법
|
| 16 |
16
파노라마 영상 생성을 위한 제어 프로그램이 저장된 메모리; 및상기 메모리에 저장된 제어 프로그램을 실행하는 프로세서를 포함하고,상기 프로세서는, 복수개의 카메라에서 동시에 얻어진 K개의 영상을 기초로 딥러닝 네트워크의 학습을 위한 데이터 셋을 구성하고, 상기 영상 중 K/2 개의 영상을 기초로 인코딩 특징 맵, 스킵 커넥션 특징 맵 및 디코딩 특징 맵을 추출하고, 상기 인코딩 특징 맵을 기초로 멀티 호모그래피를 추정하고, 상기 디코딩 특징 맵을 기초로 플로우 조정 맵, 전처리 블렌딩 맵, 가중치 맵 및 후처리 블렌딩 맵을 추정하고, 상기 멀티 호모그래피 및 상기 플로우 조정 맵을 기초로 플로우 맵을 도출하고, 상기 전처리 블렌딩 맵을 기초로 전처리된 영상을 생성하고, 상기 전처리된 영상 및 상기 플로우 맵을 기초로 복수개의 워핑 영상을 생성하고, 상기 복수개의 워핑 영상 및 가중치 맵을 기초로 정합 영상을 생성하고, 상기 정합 영상 및 상기 후처리 블렌딩 맵을 기초로 상기 정합 영상을 보정하여 출력 영상을 생성하는 파노라마 영상 생성 장치
|
| 17 |
17
제16항에 있어서,상기 프로세서는,상기 복수의 워핑 영상 및 상기 가중치 맵을 제11 딥러닝 네트워크의 입력으로 하여, 상기 복수개의 워핑 영상과 같은 개수를 가지는 가중치 맵 간의 아다마르 곱 연산을 수행한 뒤, 이를 모두 가중합하여 정합 영상을 생성하는 파노라마 영상 생성 장치
|
| 18 |
18
제16항에 있어서,상기 프로세서는,상기 정합 영상 및 상기 후처리 블렌딩 맵을 제12 딥러닝 네크워크의 입력으로 하여, 상기 정합 영상을 상기 후처리 블렌딩 맵으로 보정하여 출력 영상을 생성하는 파노라마 영상 생성 장치
|
| 19 |
19
제16항에 있어서,상기 프로세서는,상기 출력 영상 및 상기 데이터 셋 중 정답으로 사용될 나머지 K/2 개의 영상을 기초로 손실 함수를 계산하는 파노라마 영상 생성 장치
|
| 20 |
20
제16항에 있어서,상기 프로세서는,상기 손실 함수를 기초로 상기 딥러닝 네트워크를 업데이트하는 파노라마 영상 생성 장치
|
