| 1 |
1
최초 입력 이미지를 업스케일링한 제1 번째 입력 이미지로부터 시작하여, 제N-1 번째(N은 2 이상의 자연수) 입력 이미지를 뉴럴 네트워크에 입력하고 스케일 팩터를 적용하여 상기 뉴럴 네트워크에서 제N-1 번째 잔차 이미지를 출력하는 단계(a);상기 제N-1 번째 잔차 이미지와 상기 제N-1 번째 입력 이미지의 합으로 제N 번째 입력 이미지를 생성하는 단계(b)-여기서 상기 제N 번째 입력 이미지는 상기 뉴럴 네트워크의 입력으로 전달됨-; 및상기 스케일 팩터가 1이 될 때까지 상기 스케일 팩터의 크기를 미리 설정된 크기만큼 점진적으로 감소시키면서 상기 단계(a) 및 상기 단계(b)를 반복 수행하는 단계(c)를 포함하고,상기 스케일 팩터가 1로 적용될 때 상기 제N-1 번째 잔차 이미지와 제N 번째 잔차 이미지 간의 이미지 잔차들에 대한 상미분 누적값과 상기 제1 번째 입력 이미지의 합으로 최종 출력 이미지가 생성되는, 점진적 이미지 해상도 향상 방법
|
| 2 |
2
청구항 1에 있어서,상기 스케일 팩터는 1보다 큰 유리수(rational number) 값인, 점진적 이미지 해상도 향상 방법
|
| 3 |
3
청구항 2에 있어서,상기 스케일 팩터는 상기 뉴럴 네트워크에 추가되는 입력으로, 상기 뉴럴 네트워크의 반복 동작마다 등차적, 선형적, 등비적 또는 비선형적으로 순차 감소하는 값인, 점진적 이미지 해상도 향상 방법
|
| 4 |
4
청구항 1에 있어서,상기 누적 계산한 값은 하기 수학식 4로 표현되는 상미분 방정식(ODE: ordinary differential equation)으로 모델링되며,[수학식 4]수학식 4에서, 은 상기 최종 출력 이미지를, 는 초기 스케일 팩터(to)가 적용된 상기 제1 번째 입력 이미지를, 는 상기 뉴럴 네트워크의 입력 이미지에 점진적으로 감소되는 스케일 팩터(t)가 적용된 이미지를, f()dt는 스케일 팩터(t)가 추가 입력되는 상기 뉴럴 네트워크의 입력 이미지와 출력 이미지 간의 이미지 잔차에 대한 상미분 방정식을, 는 상기 뉴럴 네트워크의 트레이닝 가능한 파라미터를 나타내는, 점진적 이미지 해상도 향상 방법
|
| 5 |
5
청구항 4에 있어서,상기 누적 계산한 값은 ODE 솔버(solver)에 의해 수치적으로(numerically) 계산되며,상기 ODE 솔버는 오일러(Euler) 방법, 룬게쿠타(Runge-Kutta) 방법, Heun 방법, 중점(Midpoint) 방법, 적응적 룬게쿠타 방법 중에서 선택되는 어느 하나 이상을 포함하는, 점진적 이미지 해상도 향상 방법
|
| 6 |
6
청구항 4에 있어서,상기 뉴럴 네트워크는 수학식 6으로 표현되는 손실함수를 최소화하도록 상기 파라미터를 훈련하며,[수학식 6]수학식 6에서, 는 파라미터 를 훈련하여 손실함수를 최소화하는 수학식을, 은 상대적 고해상도(HR: high resolution)의 훈련용 원본 이미지를, ODESolove()는 ODE 솔버 함수를 각각 나타내는, 점진적 이미지 해상도 향상 방법
|
| 7 |
7
청구항 6에 있어서,상기 뉴럴 네트워크의 파라미터를 역전파를 통해 업데이트하는 단계를 더 포함하는, 점진적 이미지 해상도 향상 방법
|
| 8 |
8
점진적 이미지 해상도 향상 장치로서,프로세서;상기 프로세서와 전자적으로 연결된 메모리; 및상기 메모리에 저장된 명령어들을 포함하고,상기 프로세서에 의해 실행될 때, 상기 명령어들은 상기 프로세서가:최초 입력 이미지를 업스케일링한 제1 번째 입력 이미지를 시작으로, 제N-1 번째(N은 2 이상의 자연수) 입력 이미지를 뉴럴 네트워크에 입력하고 스케일 팩터를 적용하여 상기 뉴럴 네트워크에서 제N-1번째 잔차 이미지를 출력하는 단계(a);상기 제N-1 번째 잔차 이미지와 상기 제N-1 번째 입력 이미지의 합으로 제N 번째 입력 이미지를 생성하는 단계(b)-여기서 상기 제N 번째 입력 이미지는 상기 뉴럴 네트워크의 입력으로 전달됨-;상기 스케일 팩터가 1이 될 때까지 상기 스케일 팩터의 크기를 미리 설정된 크기만큼 점진적으로 감소시키면서 상기 단계(a) 및 상기 단계(b)를 반복 수행하는 단계(c); 및상기 스케일 팩터가 1로 적용될 때 상기 제N-1 번째 잔차 이미지와 제N 번째 입력 이미지 간의 이미지 잔차들을 누적 계산한 값과 상기 제1 번째 입력 이미지의 합으로 최총 출력 이미지를 생성하는 단계(d)를 수행하도록 하는, 점진적 이미지 해상도 향상 장치
|
| 9 |
9
청구항 8에 있어서,상기 누적 계산한 값은 상미분 방정식(ODE: ordinary differential equation)으로 모델링되며,[수학식 4]수학식 4에서, 은 상기 최종 출력 이미지를, 는 초기 스케일 팩터(to)가 적용된 상기 제1 번째 입력 이미지를, 는 상기 뉴럴 네트워크의 입력 이미지에 점진적으로 감소되는 스케일 팩터(t)가 적용된 이미지를, f()dt는 스케일 팩터(t)가 추가 입력되는 상기 뉴럴 네트워크의 입력 이미지와 출력 이미지 간의 이미지 잔차에 대한 상미분 방정식을, 는 상기 뉴럴 네트워크의 트레이닝 가능한 파라미터를 나타내는, 점진적 이미지 해상도 향상 장치
|
| 10 |
10
청구항 9에 있어서,상기 뉴럴 네트워크는 수학식 6으로 표현되는 손실함수를 최소화하도록 상기 파라미터를 훈련하며,[수학식 6]수학식 6에서, 는 파라미터 를 훈련하여 손실함수를 최소화하는 수학식을, 은 상대적 고해상도(HR: high resolution)의 훈련용 원본 이미지를, 그리고 ODESolove()는 ODE 솔버 함수를 각각 나타내는, 점진적 이미지 해상도 향상 장치
|
| 11 |
11
프로세서에 의해 수행되는 이미지 초해상도 방법에 있어서,입력 이미지가 입력되는 뉴럴 네트워크의 출력 이미지를 상기 뉴럴 네트워크의 입력 이미지로 다시 입력하는 단계;상기 뉴럴 네트워크에 상기 입력 이미지가 입력될 때마다 상기 뉴럴 네트워크에 점진적으로 그 크기가 다르게 설정되는 스케일 팩터들을 순차적으로 제공하는 단계;상기 뉴럴 네트워크의 반복 동작마다 상기 뉴럴 네트워크의 입력 이미지와 출력 이미지 간의 이미지 잔차를 상미분 방정식을 이용하여 계산하고 계산된 값들을 누적하거나 갱신하는 단계; 및상기 갱신하는 단계에서 얻은 최종 이미지 잔차와 최초 입력 이미지를 합하여 최종 출력 이미지를 생성하는 단계;를 포함하는 이미지 초해상도 방법
|
| 12 |
12
청구항 11에 있어서,상기 제공하는 단계는 상기 뉴럴 네트워크의 첫번째 레이어에 상기 입력 이미지에 더하여 상기 스케일 팩터를 추가 입력하는, 이미지 초해상도 방법
|
| 13 |
13
청구항 12에 있어서,상기 입력하는 단계 및 상기 제공하는 단계는, 상기 입력 이미지를 기준으로 1보다 큰 유리수의 크기를 가진 스케일 팩터에 대응하여 상기 입력 이미지의 가장자리에 패딩을 추가하고 상기 입력 이미지에 대응하도록 상기 패딩이 추가된 입력 이미지를 중심 크롭핑하는, 이미지 초해상도 방법
|
| 14 |
14
청구항 11에 있어서,상기 뉴럴 네트워크는 RDN(Residual Dense Network)를 포함하고, 상기 RDN은 최종 업샘플링 레이어(last upsampling layer)가 생략된 형태를 가져 입력 해상도와 출력 해상도가 동일하게 형성되는, 이미지 초해상도 방법
|
| 15 |
15
청구항 11에 있어서,상기 뉴럴 네트워크를 훈련하는 단계를 더 포함하며,상기 훈련하는 단계는, 상기 상미분 방정식을 통해 상기 뉴럴 네트워크의 입력 이미지와 출력 이미지 간의 이미지 잔차들의 차이를 통해 이미지 디테일을 추정하고 상기 이미지 디테일을 상기 뉴럴 네트워크 수행 시마다 갱신하여 상기 최초 입력 이미지에 더하는 단일 훈련 과정을, 서로 다른 스케일 팩터 세트들에 대해 수행하여 미리 설정된 손실 함수가 최소 값이 되거나 미리 설정된 기준 값 이하가 되도록 훈련하는, 이미지 초해상도 방법
|
