| 1 |
1
복수의 시점에 대응하는 프레임들을 수신하는 단계;상기 프레임들로부터 예측된 예측 결과들에 기초하여 적어도 하나의 손실(loss)을 계산하는 단계; 및상기 적어도 하나의 손실에 기초하여 상기 프레임들에 이미지 합동 처리를 수행하는 단계를 포함하고,상기 이미지 합동 처리는 프레임 보간(frame interpolation), 초해상화(super-resolution) 및 역톤매핑(inverse tone mapping) 중 적어도 두 개의 합동 처리를 포함하고,상기 계산하는 단계는,상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 상기 예측 결과들을 생성하는이미지 합동 처리 방법
|
| 2 |
2
제1항에 있어서,상기 계산하는 단계는,상기 복수의 시점 중 일부 시점을 포함하는 시간 창을 생성하는 단계; 및상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
| 3 |
3
제2항에 있어서,상기 시간 창을 생성하는 단계는,상기 복수의 시점 중 일부 시점을 포함하는 제1 시간 창을 생성하는 단계; 및상기 제1 시간 창을 시간적으로 슬라이딩(sliding)함으로써 제2 시간 창을 생성하는 단계를 포함하는 이미지 합동 처리 방법
|
| 4 |
4
제3항에 있어서,상기 제1 시간 창 및 상기 제2 시간 창은 시간적으로 오버랩되는이미지 합동 처리 방법
|
| 5 |
5
제2항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과 간의 차분(difference)에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
| 6 |
6
제2항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과의 평균 값에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
| 7 |
7
제2항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 상기 제1 시간 창에 포함된 제2 시점에 대응하는 예측 결과의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
| 8 |
8
제2항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,상기 예측 결과들과 그라운드 트루스(ground truth) 프레임들 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
| 9 |
9
제1항에 있어서,상기 이미지 합동 처리는,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 방법
|
| 10 |
10
복수의 시점에 대응하는 프레임들을 수신하는 수신기; 및상기 프레임들로부터 예측된 예측 결과들에 기초하여 적어도 하나의 손실(loss)을 계산하고, 상기 적어도 하나의 손실에 기초하여 상기 프레임들에 이미지 합동 처리를 수행하는 프로세서를 포함하고,상기 이미지 합동 처리는 프레임 보간(frame interpolation), 초해상화(super-resolution) 및 역톤매핑(inverse tone mapping) 중 적어도 두 개의 합동 처리를 포함하고,상기 프로세서는,상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 상기 예측 결과들을 생성하는이미지 합동 처리 장치
|
| 11 |
11
제10항에 있어서,상기 프로세서는,상기 복수의 시점 중 일부 시점을 포함하는 시간 창을 생성하고,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
| 12 |
12
제11항에 있어서,상기 프로세서는,상기 복수의 시점 중 일부 시점을 포함하는 제1 시간 창을 생성하고,상기 제1 시간 창을 시간적으로 슬라이딩(sliding)함으로써 제2 시간 창을 생성하는이미지 합동 처리 장치
|
| 13 |
13
제12항에 있어서,상기 제1 시간 창 및 상기 제2 시간 창은 시간적으로 오버랩되는이미지 합동 처리 장치
|
| 14 |
14
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
| 15 |
15
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과의 평균 값에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
| 16 |
16
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 상기 제1 시간 창에 포함된 제2 시점에 대응하는 예측 결과의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
| 17 |
17
제11항에 있어서,상기 프로세서는,상기 예측 결과들과 그라운드 트루스 프레임들 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
| 18 |
18
제10항에 있어서,상기 이미지 합동 처리는,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 장치
|
