| 1 |
1
제1 영상 및 상기 제1 영상과 정합되는 제2 영상을 포함하는 복수의 영상을 수신하는 동작;상기 복수의 영상의 특징 맵을 추출하는 동작;상기 특징 맵에 기초하여 상기 복수의 영상의 픽셀들의 이동 정보인 복수의 플로우 맵을 생성하는 동작;상기 복수의 영상에 상기 복수의 플로우 맵을 각각 적용하여 상기 복수의 영상의 픽셀들이 이동한 복수의 워핑 영상을 생성하는 동작;상기 특징 맵에 기초하여 상기 복수의 워핑 영상을 블렌딩하기 위한 복수의 가중치 맵을 생성하는 동작; 및상기 복수의 가중치 맵에 기초하여 상기 복수의 워핑 영상을 블렌딩함으로써 상기 제1 영상과 상기 제2 영상이 정합된 정합 영상을 생성하는 동작을 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 2 |
2
제1항에 있어서,상기 복수의 플로우 맵을 생성하는 동작은,상기 제1 영상의 픽셀들의 이동 정보인 제1 플로우 맵을 생성하는 동작; 및상기 제2 영상의 픽셀들의 이동 정보인 제2 플로우 맵을 생성하는 동작을 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 3 |
3
제2항에 있어서,상기 복수의 워핑 영상을 생성하는 동작은,상기 제1 영상에 상기 제1 플로우 맵을 적용하여 제1 워핑 영상을 생성하는 동작; 및상기 제2 영상에 상기 제2 플로우 맵을 적용하여 제2 워핑 영상을 생성하는 동작을 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 4 |
4
제3항에 있어서,상기 복수의 가중치 맵을 생성하는 동작은,상기 제1 워핑 영상에 대한 제1 가중치 맵을 생성하는 동작; 및상기 제2 워핑 영상에 대한 제2 가중치 맵을 생성하는 동작을 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 5 |
5
제4항에 있어서,상기 정합 영상을 생성하는 동작은,상기 제1 워핑 영상에 상기 제1 가중치 맵을 적용하는 동작;상기 제2 워핑 영상에 상기 제2 가중치 맵을 적용하는 동작; 및상기 제1 가중치가 적용된 제1 워핑 영상과 상기 제2 가중치가 적용된 제2 워핑 영상을 블렌딩하여 상기 정합 영상을 생성하는 동작을 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 6 |
6
제1항에 있어서,제1 손실함수와 제2 손실함수가 가중합된 제3 손실 함수를 계산하는 동작; 및상기 제3 손실 함수에 기초하여 학습하는 동작을 더 포함하는, 딥 러닝 기반 영상 정합 방법
|
| 7 |
7
제6항에 있어서,상기 제1 손실함수는,상기 정합 영상의 픽셀 값과 상기 정답 영상의 픽셀 값의 차이를 계산하는 L1 손실 함수이고,상기 제2 손실 함수는,상기 정합 영상의 손실 정보를 평가하는 SSIM(Structural similarity index measure) 손실 함수인,딥 러닝 기반 영상 정합 방법
|
| 8 |
8
하드웨어와 결합되어 제1항 내지 제7항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 9 |
9
하나 이상의 인스트럭션을 저장하는 메모리; 및상기 인스트럭션을 실행시키기 위한 프로세서를 포함하고,상기 인스트럭션이 실행될 때, 상기 프로세서는,제1 영상 및 상기 제1 영상과 정합되는 제2 영상을 포함하는 복수의 영상을 수신하고,상기 복수의 영상의 특징 맵을 추출하고,상기 특징 맵에 기초하여 상기 복수의 영상의 픽셀들의 이동 정보인 복수의 플로우 맵을 생성하고,상기 복수의 영상에 상기 복수의 플로우 맵을 각각 적용하여 상기 복수의 영상의 픽셀들이 이동한 복수의 워핑 영상을 생성하고,상기 특징 맵에 기초하여 상기 복수의 워핑 영상을 블렌딩하기 위한 복수의 가중치 맵을 생성하고,상기 복수의 가중치 맵에 기초하여 상기 복수의 워핑 영상을 블렌딩함으로써 상기 제1 영상과 상기 제2 영상이 정합된 정합 영상을 생성하는,딥 러닝 기반 영상 정합 장치
|
| 10 |
10
제9항에 있어서,상기 프로세서는,상기 제1 영상의 픽셀들의 이동 정보인 제1 플로우 맵을 생성하고,상기 제2 영상의 픽셀들의 이동 정보인 제2 플로우 맵을 생성하는,딥 러닝 기반 영상 정합 장치
|
| 11 |
11
제10항에 있어서,상기 프로세서는,상기 제1 영상에 상기 제1 플로우 맵을 적용하여 제1 워핑 영상을 생성하고,상기 제2 영상에 상기 제2 플로우 맵을 적용하여 제2 워핑 영상을 생성하는,딥러닝 기반 영상 정합 장치
|
| 12 |
12
제11항에 있어서,상기 프로세서는,상기 제1 워핑 영상에 대한 제1 가중치 맵을 생성하고,상기 제2 워핑 영상에 대한 제2 가중치 맵을 생성하는,딥러닝 기반 영상 정합 장치
|
| 13 |
13
제12항에 있어서,상기 프로세서는,상기 제1 워핑 영상에 상기 제1 가중치 맵을 적용하고,상기 제2 워핑 영상에 상기 제2 가중치 맵을 적용하고,상기 제1 가중치가 적용된 제1 워핑 영상과 상기 제2 가중치가 적용된 제2 워핑 영상을 블렌딩하여 상기 정합 영상을 생성하는,딥 러닝 기반 영상 정합 장치
|
| 14 |
14
제9항에 있어서,상기 프로세서는,제1 손실함수와 제2 손실함수가 가중합된 제3 손실 함수를 계산하고,상기 제3 손실 함수에 기초하여 학습하는,딥 러닝 기반 영상 정합 장치
|
| 15 |
15
제14항에 있어서,상기 제1 손실함수는,상기 정합 영상의 픽셀 값과 상기 정답 영상의 픽셀 값의 차이를 계산하는 L1 손실 함수이고,상기 제2 손실 함수는,상기 정합 영상의 손실 정보를 평가하는 SSIM(Structural similarity index measure) 손실 함수인,딥 러닝 기반 영상 정합 장치
|
