| 1 |
1
입력되는 저해상도 영상을 업스케일링하는 단계;상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정하는 단계;해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계; 상기 해당 패치에 대해 선택된 신경망을 적용하는 단계; 및상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 2 |
2
청구항 1에 있어서,상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는,특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 3 |
3
청구항 2에 있어서, 상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계는, 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키는 단계;상기 회전된 패치에 대해 반복 아키텍처를 적용하는 단계;반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하는 단계; 및상기 패치를 원래 방향으로 각도 재변환하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 4 |
4
청구항 3에 있어서,상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계는, 상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하는 단계; 및상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하는 단계를 더 포함하는 초해상도 영상 생성 방법
|
| 5 |
5
청구항 1에 있어서, 상기 방향 지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 기 설정된 방향성을 갖는 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 방법
|
| 6 |
6
청구항 1에 있어서, 상기 방향 비지정 신경망은,바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 방법
|
| 7 |
7
청구항 1에 있어서, 상기 각 패치에 대한 방향성을 결정하는 단계는,상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하는 단계;산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하는 단계; 및상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 8 |
8
청구항 7에 있어서, 상기 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계는,방향성이 고지향성인 패치에 대해 방향 지정 신경망을 선택하는 단계; 및 방향성이 저지향성인 패치에 대해 방향 비지정 신경망을 선택하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 9 |
9
청구항 1에 있어서,상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는,특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 10 |
10
청구항 9에 있어서, 상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계는, 입력되는 패치에 대해 반복 아키텍처를 적용하는 단계; 및상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법
|
| 11 |
11
청구항 3 또는 청구항 10에 있어서, 상기 반복 아키텍처는 적어도 하나의 층 아키텍처를 포함하고, 하나의 층 아키텍처는,합성곱(Convolution), 배치 정규화(BN; Batch Normalization), 정류된 선형 유닛(ReLU: Rectified Linear Unit)을 포함하여, 입력 패치에 대한 특징 맵을 생성하는, 초해상도 영상 생성 방법
|
| 12 |
12
프로세서; 및상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하는 상기 적어도 하나의 명령은, 입력되는 저해상도 영상을 업스케일링하도록 하는 명령;상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정도록 하는 명령;해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하도록 하는 명령; 상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령; 및상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 13 |
13
청구항 12에 있어서, 상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령은,특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 14 |
14
청구항 13에 있어서, 상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은, 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키도록 하는 명령;상기 회전된 패치에 대해 반복 아키텍처를 적용하도록 하는 명령;반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하도록 하는 명령; 및상기 패치를 원래 방향으로 각도 재변환하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 15 |
15
청구항 14에 있어서, 상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은, 상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하도록 하는 명령; 및상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 16 |
16
청구항 12에 있어서, 상기 방향 지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 장치
|
| 17 |
17
청구항 12에 있어서, 상기 방향 비지정 신경망은,바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 장치
|
| 18 |
18
청구항 12에 있어서, 상기 각 패치에 대한 방향성을 결정하도록 하는 명령은,상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하도록 하는 명령;산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하도록 하는 명령; 및상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 19 |
19
청구항 12에 있어서, 상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령은,특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
| 20 |
20
청구항 19에 있어서, 상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령은, 입력되는 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 및상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치
|
