| 1 |
1
영상 콘텐츠의 모자이크 영역을 결정하기 위한 학습 모델의 학습 방법에 있어서, 모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계; 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계; 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계; 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계 를 포함하고, 상기 학습 모델은, 상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습하는, 모자이크 영역 결정 방법
|
| 2 |
2
제1항에 있어서,상기 프레임 벡터를 결정하는 단계는, (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정하는, 모자이크 영역 결정 방법
|
| 3 |
3
제1항에 있어서,상기 프레임 차이 벡터를 결정하는 단계는, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정하는,모자이크 영역 결정 방법
|
| 4 |
4
제1항에 있어서,상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계는, (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는,모자이크 영역 결정 방법
|
| 5 |
5
제1항에 있어서,상기 오류를 결정하는 단계는, (a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정하는,모자이크 영역 결정 방법
|
| 6 |
6
제5항에 있어서,상기 추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값인모자이크 영역 결정 방법
|
| 7 |
7
제5항에 있어서,상기 추출된 레이블 영역에 대한 레이블은 상기 결정된 학습 레이블과 상기 원본 레이블의 차이를 계산하여 결정되는 값인,모자이크 영역 결정 방법
|
| 8 |
8
제5항에 있어서,상기 추출된 레이블 영역의 나머지 영역에 대한 레이블은 상기 추출된 레이블 영역 외 나머지 영역으로부터 결정된 레이블과 원본 레이블 이외의 레이블 간의 차이를 계산하여 결정되는 값인,모자이크 영역 결정 방법
|
| 9 |
9
제5항에 있어서,상기 프레임 및 프레임 차이 재현 오류는 상기 프레임 벡터 및 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 상기 프레임 벡터를 결정할 때 사용된 프레임 및 상기 프레임 차이 벡터를 결정할 때 사용된 프레임 차이 이미지 간의 차이를 계산하여 결정되는 값인,모자이크 영역 결정 방법
|
| 10 |
10
영상 콘텐츠에 모자이크를 적용하기 위한 방법에 있어서, 타겟 영상 컨텐츠를 식별하는 단계;모자이크 영역을 결정하는 학습 모델 중 하나를 이용하여 상기 타겟 영상 컨텐츠에서 모자이크 영역을 결정하는 단계; 및결정된 모자이크 영역에 모자이크를 적용하는 단계를 포함하고,상기 학습 모델은,모자이크가 적용될 원본 레이블이 입력된 프레임으로 구성된 학습 영상 콘텐츠를 식별하는 단계; 상기 학습 영상 콘텐츠에서 프레임들에 대해 임베딩을 수행하여 프레임 벡터를 결정하는 단계; 상기 학습 영상 콘텐츠에서 프레임들 간의 프레임 차이 이미지에 대해 임베딩을 수행하여 프레임 차이 벡터를 결정하는 단계 상기 프레임 벡터와 프레임 차이 벡터에 기초하여 모자이크를 적용할 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계; 상기 원본 레이블과 상기 학습 레이블을 비교하여 학습 모델의 오류를 결정하는 단계 를 포함하고, 상기 학습 모델은, 상기 오류에 따라 (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합, 및 (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 업데이트함으로써 학습하는,모자이크 적용 방법
|
| 11 |
11
제10항에 있어서,결정된 모자이크 영역에 모자이크를 적용하는 단계는,상기 결정된 모자이크 영역의 프레임 벡터 및 차이 벡터를 기반으로 새로운 이미지를 이용하여 모자이크 영역에 모자이크를 적용하는,모자이크 적용 방법
|
| 12 |
12
제10항에 있어서,상기 프레임 벡터를 결정하는 단계는, (i) 상기 프레임 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 특정 시점의 입력 프레임을 임베딩함으로써 상기 특정 시점의 입력 프레임보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임에 대응하는 프레임 벡터를 결정하는, 모자이크 적용 방법
|
| 13 |
13
제10항에 있어서,상기 프레임 차이 벡터를 결정하는 단계는, (ii) 상기 프레임 차이 벡터를 결정할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 특정 시점의 입력 프레임 차이 이미지를 임베딩함으로써 상기 특정 시점의 입력 프레임 차이 이미지보다 사이즈가 작고, 컬러 정보가 증가한 출력 프레임 차이에 대응하는 프레임 차이 벡터를 결정하는,모자이크 적용 방법
|
| 14 |
14
제10항에 있어서,상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는 단계는, (iii) 상기 레이블 영역을 추출할 때 사용된 뉴럴 네트워크의 파라미터 집합을 이용하여 상기 프레임 벡터 및 상기 프레임 차이 벡터를 입력으로 모자이크를 적용할 레이블 영역에 대응되는 영역 벡터를 결정함으로써 상기 레이블 영역을 추출하고 추출된 레이블 영역의 학습 레이블을 결정하는,모자이크 적용 방법
|
| 15 |
15
제10항에 있어서,상기 오류를 결정하는 단계는, (a) 추출된 레이블 영역의 일관성, (b) 추출된 레이블 영역에 대한 레이블, (c) 추출된 레이블 영역의 나머지 영역에 대한 레이블 및 (d) 프레임 및 프레임 차이 재현 오류 중 (b)와 (d)를 포함하고 (a) 또는 (c)를 선택적으로 부가하여 판단함으로써 오류를 결정하는,모자이크 적용 방법
|
| 16 |
16
제15항에 있어서,상기 추출된 레이블 영역의 일관성은 t 시점의 프레임을 기준으로 추출된 레이블 영역과 t-1 시점 프레임을 기준으로 추출된 레이블 영역과의 거리를 계산하여 결정되는 값인모자이크 적용 방법
|
| 17 |
17
제15항에 있어서,상기 추출된 레이블 영역에 대한 레이블은 상기 결정된 학습 레이블과 상기 원본 레이블의 차이를 계산하여 결정되는 값인,모자이크 적용 방법
|
| 18 |
18
제15항에 있어서,상기 추출된 레이블 영역의 나머지 영역에 대한 레이블은 상기 추출된 레이블 영역 외 나머지 영역으로부터 결정된 레이블과 원본 레이블 이외의 레이블 간의 차이를 계산하여 결정되는 값인,모자이크 적용 방법
|
| 19 |
19
제15항에 있어서,상기 프레임 및 프레임 차이 재현 오류는 상기 프레임 벡터 및 프레임 차이 벡터로부터 재현한 프레임 및 프레임 차이 이미지와 상기 프레임 벡터를 결정할 때 사용된 프레임 및 상기 프레임 차이 벡터를 결정할 때 사용된 프레임 차이 이미지 간의 차이를 계산하여 결정되는 값인,모자이크 적용 방법
|
