| 1 |
1
원본 이미지에 다중 왜곡을 적용하여 왜곡 이미지를 생성하는 전처리 모듈;상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지에 적용된 왜곡 정보를 인식하는 인식 모듈; 및상기 왜곡 이미지 및 상기 왜곡 정보를 입력 받고, 상기 왜곡 이미지 및 상기 왜곡 정보에 기반하여 상기 왜곡 이미지로부터 원본 이미지를 복원하는 복원 모듈을 포함하고, 상기 인식 모듈은, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지에서 왜곡의 종류 및 왜곡의 강도를 포함하는 왜곡 정보를 인식하도록 학습되는 인식 신경망 모델을 포함하고, 상기 인식 신경망 모델은, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 특징 맵을 추출하도록 학습되는 인코더; 및상기 인코더로부터 상기 특징 맵을 각각 입력 받고, 상기 특징 맵에 기반하여 상기 다중 왜곡 중 어느 하나의 왜곡의 종류 및 왜곡의 강도를 예측하도록 각각 학습되는 복수 개의 디코더를 포함하며, 상기 복수 개의 디코더는 각각, 첫 번째 계층에 ASPP(Atrous Spatial Pyramid Pooling) 블록이 배치되어 상기 인코더에서 출력 되는 특징 맵을 입력 받아 다중 스케일 컨텍스트 정보를 캡쳐하도록 마련되며, 상기 복원 모듈은, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지 및 상기 왜곡 정보로부터 원본 이미지를 복원하도록 학습되는 복원 신경망 모델; 및상기 인식 신경망 모델에서 인식한 상기 왜곡 정보를 상기 복원 신경망 모델로 주입하도록 학습되는 주입 신경망 모델을 포함하고, 상기 복원 신경망 모델은, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 왜곡 이미지 특징을 추출하는 특징 추출부;상기 왜곡 이미지 특징을 상기 주입 신경망 모델을 통해 주입되는 왜곡 정보에 기반하여 학습하는 특징 학습부; 및상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 원본 이미지를 복원하는 복원부를 포함하고, 상기 특징 학습부는, 상기 특징 추출부로부터 상기 왜곡 이미지 특징을 입력 받고, 상기 주입 신경망 모델로부터 왜곡 정보 특징을 입력 받아 상기 왜곡 이미지 특징의 공간 변환 특징을 출력하는 출력부; 및상기 특징 추출부로부터 상기 왜곡 이미지 특징을 입력 받고, 상기 출력부로부터 상기 공간 변환 특징을 입력 받으며, 상기 왜곡 이미지 특징과 상기 공간 변환 특징을 조합하여 조합 특징을 생성하는 조합부를 포함하고, 상기 출력부는, 상기 주입 신경망 모델로부터 입력되는 상기 왜곡 정보 특징에 기반하여 스케일링(scaling) 변수 및 쉬프팅(shifting) 변수를 각각 산출하고, 상기 왜곡 이미지 특징을 상기 스케일링 변수 및 상기 쉬프팅 변수에 의해 스케일링 및 쉬프팅하여 상기 공간 변환 특징을 출력하는, 이미지 복원 장치
|
| 2 |
2
청구항 1에 있어서, 상기 전처리 모듈은, 상기 원본 이미지를 복수 개의 정크 이미지로 분할하고, 상기 정크 이미지에 기 설정된 랜덤 왜곡을 적용하여 상기 왜곡 이미지를 생성하는, 이미지 복원 장치
|
| 3 |
3
청구항 2에 있어서, 상기 전처리 모듈은, 상기 정크 이미지에 기 설정된 정책에 따라 왜곡의 종류 및 왜곡의 강도를 선택하여 다중 왜곡을 적용하고, 다중 왜곡된 각 정크 이미지들을 결합하여 상기 왜곡 이미지를 생성하는, 이미지 복원 장치
|
| 4 |
4
청구항 3에 있어서, 상기 전처리 모듈은, 하기 수학식에 의해 상기 정크 이미지에 왜곡의 종류 및 왜곡의 강도를 선택하여 다중 왜곡을 적용하는, 이미지 복원 장치
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
삭제
|
| 12 |
12
청구항 1에 있어서, 상기 복원부는, 상기 왜곡 이미지 및 상기 조합 특징을 각각 입력 받고, 상기 왜곡 이미지 및 상기 조합 특징에 기반하여 원본 이미지를 복원하는, 이미지 복원 장치
|
| 13 |
13
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비하고, 전처리 모듈, 인식 모듈, 및 복원 모듈을 포함하는 컴퓨팅 장치에서 수행되는 방법으로서, 상기 전처리 모듈에서, 원본 이미지에 다중 왜곡을 적용하여 왜곡 이미지를 생성하는 단계;상기 인식 모듈에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지에 적용된 왜곡 정보를 인식하는 단계; 및상기 복원 모듈에서, 상기 왜곡 이미지 및 상기 왜곡 정보를 입력 받고, 상기 왜곡 이미지 및 상기 왜곡 정보에 기반하여 상기 왜곡 이미지로부터 원본 이미지를 복원하는 단계를 포함하고, 상기 인식 모듈은, 인코더 및 복수 개의 디코더를 포함하고,상기 왜곡 정보를 인식하는 단계는, 상기 인코더에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 특징 맵을 추출하는 단계; 및상기 복수 개의 디코더에서, 상기 인코더로부터 상기 특징 맵을 각각 입력 받고, 상기 특징 맵에 기반하여 상기 다중 왜곡 중 어느 하나의 왜곡의 종류 및 왜곡의 강도를 예측하는 단계를 포함하며,상기 복수 개의 디코더는 각각, 첫 번째 계층에 ASPP(Atrous Spatial Pyramid Pooling) 블록이 배치되어 상기 인코더에서 출력 되는 특징 맵을 입력 받아 다중 스케일 컨텍스트 정보를 캡쳐하도록 마련되며, 상기 복원 모듈은, 복원 신경망 모델 및 주입 신경망 모델을 포함하고, 상기 원본 이미지를 복원하는 단계는, 상기 주입 신경망 모델에서, 상기 인식 모듈로부터 상기 왜곡 정보를 입력 받고, 상기 왜곡 정보로부터 왜곡 정보 특징을 추출하는 단계;상기 복원 신경망 모델에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 왜곡 이미지 특징을 추출하는 단계;상기 복원 신경망 모델에서, 상기 주입 신경망 모델로부터 상기 왜곡 정보 특징을 입력 받아 상기 왜곡 이미지 특징의 공간 변환 특징을 출력하는 단계;상기 복원 신경망 모델에서, 상기 왜곡 이미지 특징과 상기 공간 변환 특징을 조합하여 조합 특징을 생성하는 단계; 및상기 복원 신경망 모델에서, 상기 왜곡 이미지 및 상기 조합 특징에 기반하여 상기 원본 이미지를 복원하는 단계를 포함하며,상기 공간 변환 특징을 출력하는 단계는, 상기 주입 신경망 모델로부터 입력되는 상기 왜곡 정보 특징에 기반하여 스케일링(scaling) 변수 및 쉬프팅(shifting) 변수를 각각 산출하는 단계; 및상기 왜곡 이미지 특징을 상기 스케일링 변수 및 상기 쉬프팅 변수에 의해 스케일링 및 쉬프팅하여 상기 공간 변환 특징을 출력하는 단계를 포함하는, 이미지 복원 방법
|
| 14 |
14
청구항 13에 있어서,상기 왜곡 이미지를 생성하는 단계는, 상기 원본 이미지를 복수 개의 정크 이미지로 분할하는 단계; 및상기 정크 이미지에 기 설정된 랜덤 왜곡을 적용하여 상기 왜곡 이미지를 생성하는 단계를 포함하는, 이미지 복원 방법
|
| 15 |
15
청구항 14에 있어서, 상기 왜곡 이미지를 생성하는 단계는, 상기 정크 이미지에 기 설정된 정책에 따라 왜곡의 종류 및 왜곡의 강도를 선택하여 다중 왜곡을 적용하는 단계; 및상기 다중 왜곡된 각 정크 이미지들을 결합하여 상기 왜곡 이미지를 생성하는 단계를 포함하는, 이미지 복원 방법
|
| 16 |
16
청구항 15에 있어서, 상기 다중 왜곡을 적용하는 단계는,하기 수학식에 의해 상기 정크 이미지에 왜곡의 종류 및 왜곡의 강도를 선택하여 다중 왜곡을 적용하는, 이미지 복원 방법
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 가지며, 전처리 모듈, 인식 모듈, 및 복원 모듈을 포함하는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 상기 전처리 모듈에서, 원본 이미지에 다중 왜곡을 적용하여 왜곡 이미지를 생성하는 단계;상기 인식 모듈에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지에 적용된 왜곡 정보를 인식하는 단계; 및상기 복원 모듈에서, 상기 왜곡 이미지 및 상기 왜곡 정보를 입력 받고, 상기 왜곡 이미지 및 상기 왜곡 정보에 기반하여 상기 왜곡 이미지로부터 원본 이미지를 복원하는 단계를 수행하도록 하고,상기 인식 모듈은, 인코더 및 복수 개의 디코더를 포함하고,상기 왜곡 정보를 인식하는 단계는, 상기 인코더에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 특징 맵을 추출하는 단계; 및상기 복수 개의 디코더에서, 상기 인코더로부터 상기 특징 맵을 각각 입력 받고, 상기 특징 맵에 기반하여 상기 다중 왜곡 중 어느 하나의 왜곡의 종류 및 왜곡의 강도를 예측하는 단계를 포함하며,상기 복수 개의 디코더는 각각, 첫 번째 계층에 ASPP(Atrous Spatial Pyramid Pooling) 블록이 배치되어 상기 인코더에서 출력 되는 특징 맵을 입력 받아 다중 스케일 컨텍스트 정보를 캡쳐하도록 마련되며, 상기 복원 모듈은, 복원 신경망 모델 및 주입 신경망 모델을 포함하고, 상기 원본 이미지를 복원하는 단계는, 상기 주입 신경망 모델에서, 상기 인식 모듈로부터 상기 왜곡 정보를 입력 받고, 상기 왜곡 정보로부터 왜곡 정보 특징을 추출하는 단계;상기 복원 신경망 모델에서, 상기 왜곡 이미지를 입력 받고, 상기 왜곡 이미지로부터 왜곡 이미지 특징을 추출하는 단계;상기 복원 신경망 모델에서, 상기 주입 신경망 모델로부터 상기 왜곡 정보 특징을 입력 받아 상기 왜곡 이미지 특징의 공간 변환 특징을 출력하는 단계;상기 복원 신경망 모델에서, 상기 왜곡 이미지 특징과 상기 공간 변환 특징을 조합하여 조합 특징을 생성하는 단계; 및상기 복원 신경망 모델에서, 상기 왜곡 이미지 및 상기 조합 특징에 기반하여 상기 원본 이미지를 복원하는 단계를 포함하며,상기 공간 변환 특징을 출력하는 단계는, 상기 주입 신경망 모델로부터 입력되는 상기 왜곡 정보 특징에 기반하여 스케일링(scaling) 변수 및 쉬프팅(shifting) 변수를 각각 산출하는 단계; 및상기 왜곡 이미지 특징을 상기 스케일링 변수 및 상기 쉬프팅 변수에 의해 스케일링 및 쉬프팅하여 상기 공간 변환 특징을 출력하는 단계를 포함하는, 컴퓨터 프로그램
|
