| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 영상 크기 조절 장치로서,원본 영상을 입력받고, 인코딩용 복수의 컨볼루션 레이어들을 통해 상기 원본 영상의 높은 단계 특징을 추출하며, 상기 높은 단계 특징을 디코딩용 복수의 컨볼루션 레이어들로 디코딩하여 의미있는 영역에 대한 위치 정보를 포함하는 제1 주의 지도(attention map)를 출력하는 인코더-디코더, 그리고상기 제1 주의 지도를 타겟 종횡비로 크기 조절한 제2 주의 지도를 생성하고, 상기 제2 주의 지도를 기초로 상기 원본 영상의 픽셀들을 출력 영상으로 이동시키는 시프트 지도(shift map)를 생성하며, 상기 원본 영상을 상기 시프트 지도로 워핑하여 리타겟팅 영상을 출력하는 시프터를 포함하며,상기 디코딩용 복수의 컨볼루션 레이어들은 상기 인코딩용 복수의 컨볼루션 레이어들과 역대칭인, 영상 크기 조절 장치
|
| 2 |
2
제1항에서,상기 시프터는상기 제2 주의 지도를 1차원 복제 컨볼루션(1D Duplicate Convolution)하여 열을 따라 균일한 모양의 제3 주의 지도를 생성하고, 상기 제3 주의 지도와 상기 제2 주의 지도를 가중 합산하여 최종 주의 지도하며, 상기 최종 주의 지도를 누적 정규화(cumulative normalization)하여 상기 시프트 지도를 생성하는, 영상 크기 조절 장치
|
| 3 |
3
제2항에서,상기 시프터는상기 제2 주의 지도를 열 벡터로 컨볼루션하여 1차원의 행 벡터를 생성하고, 상기 행 벡터를 반복적으로 복제하여 상기 제3 주의 지도를 생성하는, 영상 크기 조절 장치
|
| 4 |
4
제3항에서,상기 열 벡터는 상기 리타겟팅 영상이 가지는 손실을 최소화하도록 학습된 가중치들을 가지는, 영상 크기 조절 장치
|
| 5 |
5
삭제
|
| 6 |
6
제1항에서,상기 디코딩용 복수의 컨볼루션 레이어들은 상기 리타겟팅 영상이 가지는 손실을 최소화하도록 학습된 가중치들을 가지는, 영상 크기 조절 장치
|
| 7 |
7
제1항에서,상기 리타겟팅 영상이 가지는 손실을 계산하고, 상기 인코더-디코더 그리고 상기 시프터에서 상기 리타겟팅 영상 출력에 관계된 컨볼루션 가중치들을 상기 손실이 최소화되도록 학습시키는 학습 장치를 더 포함하는 영상 크기 조절 장치
|
| 8 |
8
제7항에서,상기 손실은 콘텐츠 손실을 포함하고, 상기 학습 장치는상기 리타겟팅 영상을 영상 분류기에 입력하여 획득한 분류 점수를 기초로 상기 콘텐츠 손실을 계산하는, 영상 크기 조절 장치
|
| 9 |
9
제8항에서,상기 손실은 구조 손실을 더 포함하고,상기 학습 장치는상기 리타겟팅 영상과 상기 원본 영상에서 서로 대응되는 픽셀 주변의 모양을 비교하여 상기 구조 손실을 계산하는, 영상 크기 조절 장치
|
| 10 |
10
적어도 하나의 프로세서에 의해 동작하는 영상 크기 조절 장치로서,원본 영상을 입력받고, 인코딩용 복수의 컨볼루션 레이어들을 통해 상기 원본 영상의 높은 단계 특징을 추출하며, 상기 높은 단계 특징을 디코딩용 복수의 컨볼루션 레이어들로 디코딩하여 의미있는 영역에 대한 위치 정보를 포함하는 제1 주의 지도(attention map)를 출력하는 인코더-디코더,타겟 종횡비를 입력받고, 상기 제1 주의 지도를 상기 타겟 종횡비로 크기 조절한 제2 주의 지도를 생성하고, 상기 제2 주의 지도를 기초로 상기 원본 영상을 상기 타겟 종횡비로 크기 조절한 리타겟팅 영상을 출력하는 시프터, 그리고상기 리타겟팅 영상이 가지는 손실을 계산하고, 상기 손실이 최소화되도록 상기 디코딩용 복수의 컨볼루션 레이어들의 가중치들을 학습시키는 학습 장치를 포함하며,상기 손실은 콘텐츠 손실과 구조 손실을 포함하고,상기 학습 장치는상기 리타겟팅 영상을 영상 분류기에 입력하여 획득한 분류 점수를 기초로 상기 콘텐츠 손실을 계산하고, 상기 리타겟팅 영상과 상기 원본 영상에서 서로 대응되는 픽셀 주변의 모양을 비교하여 상기 구조 손실을 계산하는, 영상 크기 조절 장치
|
| 11 |
11
삭제
|
| 12 |
12
제10항에서,상기 영상 분류기는 상기 인코딩용 복수의 컨볼루션 레이어들로 구성되는, 영상 크기 조절 장치
|
| 13 |
13
제12항에서,상기 학습 장치는 상기 원본 영상과 상기 리타겟팅 영상 각각을 상기 인코딩용 복수의 컨볼루션 레이어들로 입력한 후, 상기 인코딩용 복수의 컨볼루션 레이어들의 하위 컨볼루션 레이어에서 출력된 상기 원본 영상의 특징과 상기 리타겟팅 영상의 특징을 비교하여 상기 구조 손실을 계산하는, 영상 크기 조절 장치
|
| 14 |
14
적어도 하나의 프로세서에 의해 동작하는 영상 크기 조절 장치의 영상 크기 조절 방법으로서,원본 영상의 의미있는 영역에 대한 위치 정보를 포함하는 제1 주의 지도(attention map)와 타겟 종횡비를 입력받는 단계, 상기 제1 주의 지도를 상기 타겟 종횡비로 크기 조절한 제2 주의 지도를 생성하는 단계,상기 제2 주의 지도를 1차원 복제 컨볼루션(1D Duplicate Convolution)하여 열을 따라 균일한 모양의 제3 주의 지도를 생성하는 단계,상기 제3 주의 지도와 상기 제2 주의 지도를 가중 합산한 최종 주의 지도를이용하여 시프트 지도(shift map)를 생성하는 단계, 그리고상기 시프트 지도를 이용하여 상기 원본 영상의 크기를 조절한 리타겟팅 영상을 출력하는 단계를 포함하는 영상 크기 조절 방법
|
| 15 |
15
제14항에서,상기 시프트 지도를 생성하는 단계는상기 최종 주의 지도를 누적 정규화(cumulative normalization)하여 상기 시프트 지도를 생성하는, 영상 크기 조절 방법
|
| 16 |
16
제14항에서,상기 제3 주의 지도를 생성하는 단계는상기 제2 주의 지도를 열 벡터로 컨볼루션하여 1차원의 행 벡터를 생성하고, 상기 행 벡터를 반복적으로 복제하여 상기 제3 주의 지도를 생성하는, 영상 크기 조절 방법
|
| 17 |
17
제14항에서,상기 제1 주의 지도는 디코딩용 복수의 컨볼루션 레이어들로 상기 원본 영상의 높은 단계 특징을 디코딩한 결과인, 영상 크기 조절 방법
|
| 18 |
18
제17항에서,상기 리타겟팅 영상을 영상 분류기에 입력하여 획득한 분류 점수를 기초로 상기 리타겟팅 영상의 콘텐츠 손실을 계산하는 단계, 상기 리타겟팅 영상과 상기 원본 영상에서 서로 대응되는 픽셀 주변의 모양을 비교하여 상기 리타겟팅 영상의 구조 손실을 계산하는 단계, 그리고상기 콘텐츠 손실과 상기 구조 손실이 최소화되도록 상기 리타겟팅 영상 출력에 관계된 컨볼루션 가중치들을 학습시키는 단계를 더 포함하는, 영상 크기 조절 방법
|
