| 1 |
1
초해상도 신경망에 의해, 저해상도 입력 영상을 초해상도 처리하여 고해상도 출력 영상을 획득하는 단계;적응형 타겟 생성부에 의해, 상기 고해상도 출력 영상과 고해상도 정답 영상을 비교하여 상기 고해상도 정답 영상으로부터 적응형 타겟 영상을 생성하는 단계;상기 고해상도 정답 영상으로부터 변환된 상기 적응형 타겟 영상을 이용하여 상기 초해상도 신경망을 학습하는 단계;를 포함하는 초해상도 신경망 학습 방법
|
| 2 |
2
제1항에 있어서,상기 적응형 타겟 영상을 생성하는 단계는:상기 고해상도 출력 영상과 고해상도 정답 영상 간의 대응하는 패치 영역별로 설정된 왜곡 탐색 범위 내에서 아핀 변환(Affine transformation) 정보를 산출하는 단계;상기 패치 영역 별로 산출된 상기 아핀 변환 정보를 기반으로 상기 고해상도 정답 영상을 상기 패치 영역별로 변환하여 상기 적응형 타겟 영상을 생성하는 단계;를 포함하는 초해상도 신경망 학습 방법
|
| 3 |
3
제2항에 있어서,상기 적응형 타겟 영상을 생성하는 단계는:상기 패치 영역 별로 상기 고해상도 정답 영상을 상기 아핀 변환 정보에 따라 보정하여 상기 적응형 타겟 영상을 생성하는 단계;를 포함하는 초해상도 신경망 학습 방법
|
| 4 |
4
제2항에 있어서,상기 적응형 타겟 영상을 생성하는 단계에서, 상기 적응형 타겟 생성부는 하기 수식 1의 손실 함수가 최소화되는 아핀 변환 행렬을 추정하도록 선행 학습되고, 선행 학습된 상기 적응형 타겟 생성부에 의해 상기 적응형 타겟 영상을 생성하고,[수식 1]상기 수식 1에서, i, j는 각 패치 영역의 위치(좌표), 은 제곱 평균 오차, 는 상기 각 패치 영역의 아핀 변환 행렬, 는 상기 고해상도 정답 영상의 상기 각 패치 영역으로부터 설정된 왜곡 탐색 범위 내에서 임의로 모사되어 생성되는 모의 아핀 변환 행렬, 는 상기 고해상도 정답 영상으로부터 상기 각 패치 영역 별로 상기 모의 아핀 변환 행렬에 의해 임의로 왜곡되어 생성되는 모의 타겟 영상, 는 상기 각 패치 영역 별로 상기 고해상도 정답 영상으로부터 상기 아핀 변환 행렬에 의해 변환되어 생성되는 상기 적응형 타겟 영상, 는 설정된 스케일 파라미터인 초해상도 신경망 학습 방법
|
| 5 |
5
제2항에 있어서,상기 초해상도 신경망을 학습하는 단계는 하기 수식 2의 손실 함수가 최소화되도록 상기 초해상도 신경망을 학습하고,[수식 2]상기 수식 2에서, 은 제곱 평균 오차, 는 상기 패치 영역 별로 상기 고해상도 정답 영상으로부터 상기 아핀 변환 정보에 의해 변환되어 생성되는 상기 적응형 타겟 영상, 는 상기 고해상도 출력 영상인 초해상도 신경망 학습 방법
|
| 6 |
6
제1항에 있어서,상기 초해상도 신경망을 학습하는 단계는:상기 초해상도 신경망에 의해 제1 저해상도 입력 영상을 초해상도 처리하여 획득되는 제1 고해상도 출력 영상과, 상기 제1 저해상도 입력 영상과 관련된 제1 고해상도 정답 영상을 이용하여 상기 초해상도 신경망을 1차 학습하는 단계; 및상기 초해상도 신경망에 의해 제2 저해상도 입력 영상을 초해상도 처리하여 획득되는 제2 고해상도 출력 영상과, 상기 제2 저해상도 입력 영상과 관련된 제2 고해상도 정답 영상으로부터 상기 적응형 타겟 생성부에 의해 생성되는 적응형 타겟 영상을 이용하여 상기 초해상도 신경망을 2차 학습하는 단계;를 포함하는 초해상도 신경망 학습 방법
|
| 7 |
7
제1항 내지 제6항 중 어느 한 항의 초해상도 신경망 학습 방법을 실행시키도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램
|
| 8 |
8
저해상도 입력 영상을 초해상도 처리하여 고해상도 출력 영상을 획득하도록 구성되는 초해상도 신경망;상기 고해상도 출력 영상과 고해상도 정답 영상을 비교하여 상기 고해상도 정답 영상으로부터 적응형 타겟 영상을 생성하도록 구성되는 적응형 타겟 생성부; 및상기 고해상도 정답 영상으로부터 변환된 상기 적응형 타겟 영상을 이용하여 상기 초해상도 신경망을 학습하도록 구성되는 초해상도 신경망 학습부;를 포함하는 초해상도 신경망 학습 장치
|
| 9 |
9
제8항에 있어서,상기 적응형 타겟 생성부는:상기 고해상도 출력 영상과 고해상도 정답 영상 간의 대응하는 패치 영역별로 설정된 왜곡 탐색 범위 내에서 아핀 변환(Affine transformation) 정보를 산출하고;상기 패치 영역 별로 산출된 상기 아핀 변환 정보를 기반으로 상기 고해상도 정답 영상을 상기 패치 영역별로 변환하여 상기 적응형 타겟 영상을 생성하도록 구성되는 초해상도 신경망 학습 장치
|
| 10 |
10
제9항에 있어서,상기 적응형 타겟 생성부는:상기 패치 영역 별로 상기 고해상도 정답 영상을 상기 아핀 변환 정보에 따라 보정하여 상기 적응형 타겟 영상을 생성하도록 구성되는 초해상도 신경망 학습 장치
|
| 11 |
11
제9항에 있어서,상기 적응형 타겟 생성부는 하기 수식 1의 손실 함수가 최소화되는 아핀 변환 행렬을 추정하도록 선행 학습되고, 선행 학습된 상기 적응형 타겟 생성부는 상기 적응형 타겟 영상을 생성하고,[수식 1]상기 수식 1에서, i, j는 각 패치 영역의 위치(좌표), 은 제곱 평균 오차, 는 상기 각 패치 영역의 아핀 변환 행렬, 는 상기 고해상도 정답 영상의 상기 각 패치 영역으로부터 설정된 왜곡 탐색 범위 내에서 임의로 모사되어 생성되는 모의 아핀 변환 행렬, 는 상기 고해상도 정답 영상으로부터 상기 각 패치 영역 별로 상기 모의 아핀 변환 행렬에 의해 임의로 왜곡되어 생성되는 모의 타겟 영상, 는 상기 각 패치 영역 별로 상기 고해상도 정답 영상으로부터 상기 아핀 변환 행렬에 의해 변환되어 생성되는 상기 적응형 타겟 영상, 는 설정된 스케일 파라미터인 초해상도 신경망 학습 장치
|
| 12 |
12
제9항에 있어서,상기 초해상도 신경망 학습부는 하기 수식 2의 손실 함수가 최소화되도록 상기 초해상도 신경망을 학습하고,[수식 2]상기 수식 2에서, 은 제곱 평균 오차, 는 상기 패치 영역 별로 상기 고해상도 정답 영상으로부터 상기 아핀 변환 정보에 의해 변환되어 생성되는 상기 적응형 타겟 영상, 는 상기 고해상도 출력 영상인 초해상도 신경망 학습 장치
|
| 13 |
13
제8항에 있어서,상기 초해상도 신경망 학습부는:상기 초해상도 신경망에 의해 제1 저해상도 입력 영상을 초해상도 처리하여 획득되는 제1 고해상도 출력 영상과, 상기 제1 저해상도 입력 영상과 관련된 제1 고해상도 정답 영상을 이용하여 상기 초해상도 신경망을 1차 학습하고;상기 초해상도 신경망에 의해 제2 저해상도 입력 영상을 초해상도 처리하여 획득되는 제2 고해상도 출력 영상과, 상기 제2 저해상도 입력 영상과 관련된 제2 고해상도 정답 영상으로부터 상기 적응형 타겟 생성부에 의해 생성되는 적응형 타겟 영상을 이용하여 상기 초해상도 신경망을 2차 학습하도록 구성되는 초해상도 신경망 학습 장치
|
