1 |
1
복수의 시점에 대응하는 프레임들을 수신하는 단계;상기 프레임들로부터 예측된 예측 결과들에 기초하여 적어도 하나의 손실(loss)을 계산하는 단계; 및상기 적어도 하나의 손실에 기초하여 상기 프레임들에 이미지 합동 처리를 수행하는 단계를 포함하고,상기 이미지 합동 처리는 프레임 보간(frame interpolation), 초해상화(super-resolution) 및 역톤매핑(inverse tone mapping) 중 적어도 두 개의 합동 처리를 포함하고,상기 계산하는 단계는,상기 복수의 시점 중 일부 시점을 포함하는 시간 창을 생성하는 단계; 및상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는이미지 합동 처리 방법
|
2 |
2
삭제
|
3 |
3
제1항에 있어서,상기 시간 창을 생성하는 단계는,상기 복수의 시점 중 일부 시점을 포함하는 제1 시간 창을 생성하는 단계; 및상기 제1 시간 창을 시간적으로 슬라이딩(sliding)함으로써 제2 시간 창을 생성하는 단계를 포함하는 이미지 합동 처리 방법
|
4 |
4
제3항에 있어서,상기 제1 시간 창 및 상기 제2 시간 창은 시간적으로 오버랩되는이미지 합동 처리 방법
|
5 |
5
제1항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과 간의 차분(difference)에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
6 |
6
제1항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과의 평균 값에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
7 |
7
제1항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 상기 제1 시간 창에 포함된 제2 시점에 대응하는 예측 결과의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
8 |
8
제1항에 있어서,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는 단계는,상기 예측 결과들과 그라운드 트루스(ground truth) 프레임들 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는 단계를 포함하는 이미지 합동 처리 방법
|
9 |
9
제1항에 있어서,상기 계산하는 단계는,상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 상기 예측 결과들을 생성하는 단계를 더 포함하는 이미지 합동 처리 방법
|
10 |
10
제1항에 있어서,상기 이미지 합동 처리는,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 방법
|
11 |
11
복수의 시점에 대응하는 프레임들을 수신하는 수신기; 및상기 프레임들로부터 예측된 예측 결과들에 기초하여 적어도 하나의 손실(loss)을 계산하고, 상기 적어도 하나의 손실에 기초하여 상기 프레임들에 이미지 합동 처리를 수행하는 프로세서를 포함하고,상기 이미지 합동 처리는 프레임 보간(frame interpolation), 초해상화(super-resolution) 및 역톤매핑(inverse tone mapping) 중 적어도 두 개의 합동 처리를 포함하고,상기 프로세서는,상기 복수의 시점 중 일부 시점을 포함하는 시간 창을 생성하고,상기 시간 창에 대응되는 예측 결과들을 이용하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
12 |
12
삭제
|
13 |
13
제11항에 있어서,상기 프로세서는,상기 복수의 시점 중 일부 시점을 포함하는 제1 시간 창을 생성하고,상기 제1 시간 창을 시간적으로 슬라이딩(sliding)함으로써 제2 시간 창을 생성하는이미지 합동 처리 장치
|
14 |
14
제13항에 있어서,상기 제1 시간 창 및 상기 제2 시간 창은 시간적으로 오버랩되는이미지 합동 처리 장치
|
15 |
15
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
16 |
16
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 제2 시간 창에 포함된 제1 시점에 대응하는 예측 결과의 평균 값에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
17 |
17
제11항에 있어서,상기 프로세서는,제1 시간 창에 포함된 제1 시점에 대응하는 예측 결과와 상기 제1 시간 창에 포함된 제2 시점에 대응하는 예측 결과의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
18 |
18
제11항에 있어서,상기 프로세서는,상기 예측 결과들과 그라운드 트루스 프레임들 간의 차분에 기초하여 상기 적어도 하나의 손실을 계산하는이미지 합동 처리 장치
|
19 |
19
제11항에 있어서,상기 프로세서는,상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 상기 예측 결과들을 생성하는이미지 합동 처리 장치
|
20 |
20
제11항에 있어서,상기 이미지 합동 처리는,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 장치
|
21 |
21
복수의 시점에 대응하는 프레임들을 수신하는 단계; 및상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 이미지 합동 처리를 수행하는 단계를 포함하고,상기 이미지 합동 처리는 프레임 보간, 초해상화 및 역톤매핑 중 적어도 두 개의 합동 처리를 포함하고,상기 이미지 합동 처리는,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 방법
|
22 |
22
삭제
|
23 |
23
제21항에 있어서,상기 수행하는 단계는,상기 프레임들을 다운 스케일링하는 단계; 및다운 스케일링된 프레임들에 적어도 한 번의 컨볼루션 연산을 수행하는 단계를 포함하는 이미지 합동 처리 방법
|
24 |
24
제23항에 있어서,상기 수행하는 단계는,상기 프레임들에 광학 플로우 맵을 스택(stack)하는 단계; 또는상기 프레임들에 와핑된(warped) 프레임을 스택하는 단계를 더 포함하는 이미지 합동 처리 방법
|
25 |
25
복수의 시점에 대응하는 프레임들을 수신하는 수신기; 및상기 프레임들에 적어도 한 번의 컨볼루션 연산을 수행함으로써 이미지 합동 처리를 수행하는 프로세서를 포함하고,상기 이미지 합동 처리는 프레임 보간, 초해상화 및 역톤매핑 중 적어도 두 개의 합동 처리를 포함하고,상기 컨볼루션 연산은,다중 스케일 구조를 포함하는 뉴럴 네트워크에 의해 수행되는이미지 합동 처리 장치
|
26 |
26
삭제
|
27 |
27
제25항에 있어서,상기 프로세서는,상기 프레임들을 다운 스케일링하고,다운 스케일링된 프레임들에 적어도 한 번의 컨볼루션 연산을 수행하는이미지 합동 처리 장치
|
28 |
28
제27항에 있어서,상기 프로세서는,상기 프레임들에 광학 플로우 맵을 스택(stack)하거나,상기 프레임들에 와핑된(warped) 프레임을 스택하는이미지 합동 처리 장치
|