| 1 |
1
비디오 화질개선 장치에서 복수의 다중 태스크 유닛들을 쌓은 컨볼루션 신경망 기반의 비디오 화질개선 모델을 기계학습하는 비디오 화질개선 방법으로서,입력 프레임 중 하나인 현재 타겟 프레임으로부터 제1 컨볼루션 레이어에 의해 변환된 구조 피처맵(structure feature map)을 상기 복수의 다중 태스크 유닛들 중 제1 다중 태스크 유닛과 상기 제1 다중 태스크 유닛의 출력측에 연결되는 제2 다중 태스크 유닛에 입력하는 단계;상기 입력 프레임 중 다른 하나인 이전 타겟 프레임 및 상기 입력 프레임 중 또 다른 하나인 이전 프레임의 보정 프레임을 채널 차원으로 연결한 것으로부터 제2 컨볼루션 레이어에 의해 변환된 특징 공간에 상기 구조 피처맵을 추가한 메인 입력을 상기 제1 다중 태스크 유닛에 입력하는 단계; 및상기 제2 다중 태스크 유닛의 출력측의 마지막에 연결되는 제N 다중 태스크 유닛에 상기 현재 타겟 프레임을 입력하는 단계;를 포함하며,상기 제N 다중 태스크 유닛은 상기 현재 타겟 프레임의 보정 프레임을 출력하고,상기 현재 타겟 프레임의 보정 프레임을 통해 계산된 목적함수를 이용해 비디오 화질개선 모델의 기계학습을 수행하는, 머신러닝 기반의 비디오 화질개선 방법
|
| 2 |
2
청구항 1에 있어서,상기 제N 다중 태스크 유닛에서 생성된 상기 이전 타겟 프레임의 제N 화질개선 피처맵(Nth deblurred feature map)을 상기 제1 다중 태스크 유닛과 상기 제2 다중 태스크 유닛에 입력하는 단계를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 3 |
3
청구항 2에 있어서,상기 제1 다중 태스크 유닛의 제1 디테일 피처맵 네트워크에 의해 상기 메인 입력을 받고 제1 디테일 피처맵을 출력하는 단계; 및상기 제1 다중 태스크 유닛의 정합 네트워크의 모션 레이어에 의해 상기 제1 디테일 피처맵에 상기 구조 피처맵을 추가한 구조 주입 피처맵(structure-injected feature map)을 현재 프레임 피처맵으로 변환하는 단계;를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 4 |
4
청구항 3에 있어서,상기 정합 네트워크의 모션 보상 모듈에 의해 상기 현재 프레임 피처맵과 이전 타겟 프레임의 이전 프레임 피처맵과의 모션을 추정하고 추정된 모션에 기초하여 상기 이전 타겟 프레임의 화질개선 피처맵을 상기 현재 타겟 프레임에 대해 정렬하는 단계;를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 5 |
5
청구항 4에 있어서,상기 정합 네트워크의 연결 네트워크를 통해 상기 이전 타겟 프레임의 정렬된 화질개선 피처맵과 상기 제1 디테일 피처맵을 채널 차원으로 연결한 제1 화질개선 피처맵을 상기 제2 다중 태스크 유닛의 입력측으로 출력하는 단계;를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 6 |
6
청구항 5에 있어서,상기 컨볼루션 신경망의 훈련 시, 상기 제1 다중 태스크 유닛의 제1 디블러링 네트워크의 디블러 레이어에 의해 상기 제1 디테일 피처맵을 출력 잔차 이미지로 변환하고 상기 디블러 레이어의 출력측에 연결되는 스킵 커넥션을 통해 상기 현재 타겟 프레임을 더한 제1 보정 프레임을 출력하는 단계를 더 포함하며,상기 제1 보정 프레임은 상기 제1 다중 태스크 유닛의 가중치를 업데이트하는데 이용되는 머신러닝 기반의 비디오 화질개선 방법
|
| 7 |
7
청구항 1에 있어서,상기 기계학습을 실행할 때에 상기 현재 타겟 프레임의 보정 프레임과 선명한 교사 프레임의 평균 제곱근 편차를 구하여 목적함수를 최소화하는 단계를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 8 |
8
청구항 7에 있어서,상기 기계학습을 실행할 때에 상기 이전 타겟 프레임의 교사 프레임과 상기 현재 타겟 프레임의 교사 프레임으로부터 생성한 교사 옵티컬플로우를 이용하여 상기 제1 다중 태스크 유닛 및 상기 제2 다중 태스크 유닛의 정합 네트워크들에서 각각 생성한 상관관계 매트릭스(correlation matrix)의 각 픽셀별 크로스 엔트로피(cross entropy)를 구하여 목적함수를 최소화하는 단계를 더 포함하는 머신러닝 기반의 비디오 화질개선 방법
|
| 9 |
9
입력 프레임 중 하나인 현재 타겟 프레임을 변환하여 구조 피처맵(structure feature map)을 생성하는 제1 컨볼루션 레이어;상기 입력 프레임 중 다른 하나인 이전 타겟 프레임 및 상기 입력 프레임 중 또 다른 하나인 이전 타겟 프레임의 보정 프레임을 채널 차원으로 연결한 것을 변환하여 특징 공간을 생성하는 제2 컨볼루션 레이어;상기 특징 공간에 상기 구조 피처맵을 추가한 메인 입력을 생성하는 연결 네트워크;상기 메인 입력과 상기 구조 피처맵을 입력받고 제1 디테일 피처맵 네트워크와 제1 정합 네트워크를 통해 상기 현재 타겟 프레임의 제1 화질개선 피처맵을 생성하는 컨볼루션 신경망 기반의 제1 다중 태스크 유닛; 및상기 제1 다중 태스크 유닛의 출력측의 마지막에 연결되고 상기 현재 타겟 프레임을 입력받고 제N 디테일 피처맵 네트워크와 제N 디블러링 네트워크를 통해 상기 현재 타겟 프레임의 보정 프레임을 출력하는 제N 다중 태스크 유닛;을 포함하며,상기 현재 타겟 프레임의 보정 프레임을 통해 계산된 목적함수를 이용해 비디오 화질개선 모델의 기계학습을 수행하는, 머신러닝 기반의 비디오 화질개선 장치
|
| 10 |
10
청구항 9에 있어서,상기 제1 다중 태스크 유닛과 상기 제N 다중 태스크 유닛 사이에 제2 다중 태스크 유닛을 포함한 하나 이상의 다중 태스크 유닛을 더 포함하며,상기 제2 다중 태스크 유닛은 상기 제1 다중 태스크 유닛의 출력측에 연결되어 상기 제1 화질개선 피처맵을 입력받고 상기 구조 피처맵을 입력받으며 제2 디테일 피처맵 네트워크와 제2 정합 네트워크를 통해 상기 현재 타겟 프레임의 제2 화질개선 피처맵을 생성하는, 머신러닝 기반의 비디오 화질개선 장치
|
| 11 |
11
청구항 10에 있어서,상기 제N 다중 태스크 유닛에서 생성된 상기 이전 타겟 프레임의 제N 화질개선 피처맵(Nth deblurred feature map)은 상기 제1 다중 태스크 유닛과 상기 제2 다중 태스크 유닛을 포함한 하나 이상의 다중 태스크 유닛에 입력되는, 머신러닝 기반의 비디오 화질개선 장치
|
| 12 |
12
청구항 9에 있어서,상기 제1 다중 태스크 유닛은,상기 메인 입력을 받고 제1 디테일 피처맵을 생성하는 제1 디테일 피처맵 네트워크; 및모션 레이어에 의해 상기 제1 디테일 피처맵에 상기 구조 피처맵을 추가한 구조-주입 피처맵(structure-injected feature map)을 현재 프레임 피처맵으로 변환하는 제1 정합 네트워크;를 포함하는 머신러닝 기반의 비디오 화질개선 장치
|
| 13 |
13
청구항 12에 있어서,상기 정합 네트워크는,상기 현재 프레임 피처맵과 이전 프레임 피처맵과의 모션을 추정하고 추정된 모션에 기초하여 상기 이전 프레임의 화질개선 피처맵을 상기 현재 타겟 프레임에 대해 정렬하는 모션 보상 모듈; 및상기 모션 보상 모듈의 출력측에 연결되며 상기 이전 타겟 프레임의 정렬된 화질개선 피처맵과 상기 제1 디테일 피처맵을 채널 차원으로 연결한 제1 화질개선 피처맵을 신호 흐름상 상기 제1 다중 태스크 유닛의 후단에 위치하는 제2 다중 태스크 유닛의 입력측으로 출력하는 연결 네트워크;를 구비하는 머신러닝 기반의 비디오 화질개선 장치
|
| 14 |
14
청구항 13에 있어서,상기 제1 다중 태스크 유닛은, 디블러 레이어에 의해 상기 제1 디테일 피처맵을 출력 잔차 이미지로 변환하고 상기 디블러 레이어의 출력측에 연결되는 스킵 커넥션을 통해 상기 현재 타겟 프레임을 더한 제1 보정 프레임을 출력하는 제1 디블러링 네트워크를 더 포함하며,상기 제1 보정 프레임은 상기 제1 다중 태스크 유닛의 가중치를 업데이트하는데 이용되는 머신러닝 기반의 비디오 화질개선 장치
|
| 15 |
15
청구항 9에 있어서,상기 현재 타겟 프레임의 보정 프레임과 선명한 교사 프레임의 평균 제곱근 편차를 구하여 목적함수를 최소화하는 최적화 유닛을 더 포함하는 머신러닝 기반의 비디오 화질개선 장치
|
| 16 |
16
청구항 15에 있어서,상기 최소화 유닛은 상기 이전 타겟 프레임의 교사 프레임과 상기 현재 타겟 프레임의 교사 프레임으로부터 생성한 교사 옵티컬플로우를 이용하여 상기 제1 다중 태스크 유닛의 정합 네트워크에서 생성한 상관관계 매트릭스(correlation matrix)의 각 픽셀별 크로스 엔트로피(cross entropy)를 구하여 목적함수를 추가로 최소화하는 머신러닝 기반의 비디오 화질개선 장치
|
