| 1 |
1
데이터셋 생성부를 통해 라이트필드 영상의 다중뷰를 생성하기 위한 가상 얼굴 라이트필드 데이터셋을 생성하는 단계; 생성된 가상 얼굴 라이트필드 데이터셋으로부터 다중뷰 생성부를 통해 표현 흐름을 추정하여 단안 입력 영상으로부터 라이트필드 영상의 다중뷰를 생성하는 단계; 생성된 라이트필드 영상의 다중뷰를 이용하여 시점변환부를 통해 다중뷰 영상 간의 인터폴레이션을 통해 시점변환을 수행하는 단계; 및 생성된 라이트필드 영상의 다중뷰를 이용하여 깊이영상 추정부를 통해 깊이영상을 추정하는 단계를 포함하고,생성된 라이트필드 영상의 다중뷰를 이용하여 시점변환부를 통해 다중뷰 영상 간의 인터폴레이션을 통해 시점변환을 수행하는 단계는, 생성된 라이트필드 영상의 다중뷰의 추정된 표현 흐름을 이용하여 이중 선형 샘플러(bilinear sampler) 기반의 와핑 레이어(warping layer)를 사용하여 시점 변환을 수행하는 얼굴 라이트필드 합성 방법
|
| 2 |
2
제1항에 있어서,생성된 가상 얼굴 라이트필드 데이터셋으로부터 다중뷰 생성부를 통해 표현 흐름을 추정하여 단안 입력 영상으로부터 라이트필드 영상의 다중뷰를 생성하는 단계는, 온 디바이스의 제한된 메모리 용량에서도 동작하도록 깊이 별 분리가능 컨볼루션(depthwise separable convolution) 및 확장 컨볼루션(dilated convolution) 및 잔차 블록(residual block)을 적용하여 모델 사이즈를 축소시키고 성능을 유지하며, 입력 영상을 루미넌스(luminance) 영상으로 변환하여 입력하고, SAI간 평균과 분산을 계산하여 SAI간 평균과 분산에 대한 차이를 통해 추정된 표현 흐름과 실측자료(ground truth) 간의 손실함수를 구하고, 전체 SAI(Sub Aperteur Image)에 대한 글로벌 손실(global loss)을 계산하고, SAI를 각 도메인(angular domain)의 횡축과 종축별로 묶어 로컬 손실(local loss)을 계산하여 신경망을 최적화 하는 얼굴 라이트필드 합성 방법
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,생성된 라이트필드 영상의 다중뷰를 이용하여 깊이영상 추정부를 통해 깊이영상을 추정하는 단계는, 이동된 입력 영상을 공간 도메인(spatial domain) 형태의 라이트필드 영상에서 각 도메인(angular domain) 형태의 라이트필드 영상으로 변환하고, 라이트필드 영상의 전단변환과 재배치의 반복을 통해 CAE(Cross Angular Entropy) 정합비용 계산방식을 사용하여 최종적인 깊이 값을 결정하는 얼굴 라이트필드 합성 방법
|
| 5 |
5
라이트필드 영상의 다중뷰를 생성하기 위한 가상 얼굴 라이트필드 데이터셋을 생성하는 데이터셋 생성부; 생성된 가상 얼굴 라이트필드 데이터셋으로부터 표현 흐름을 추정하여 단안 입력 영상으로부터 라이트필드 영상의 다중뷰를 생성하는 다중뷰 생성부; 생성된 라이트필드 영상의 다중뷰를 이용하여 다중뷰 영상 간의 인터폴레이션을 통해 시점변환을 수행하는 시점변환부; 및 생성된 라이트필드 영상의 다중뷰를 이용하여 깊이영상을 추정하는 깊이영상 추정부 를 포함하고, 시점변환부는, 생성된 라이트필드 영상의 다중뷰의 추정된 표현 흐름을 이용하여 이중 선형 샘플러(bilinear sampler) 기반의 와핑 레이어(warping layer)를 사용하여 시점 변환을 수행하는 얼굴 라이트필드 합성 장치
|
| 6 |
6
제5항에 있어서,다중뷰 생성부는, 온 디바이스의 제한된 메모리 용량에서도 동작하도록 깊이 별 분리가능 컨볼루션(depthwise separable convolution) 및 확장 컨볼루션(dilated convolution) 및 잔차 블록(residual block)을 적용하여 모델 사이즈를 축소시키고 성능을 유지하며, 입력 영상을 루미넌스(luminance) 영상으로 변환하여 입력하고, SAI간 평균과 분산을 계산하여 SAI간 평균과 분산에 대한 차이를 통해 추정된 표현 흐름과 실측자료(ground truth) 간의 손실함수를 구하고, 전체 SAI(Sub Aperteur Image)에 대한 글로벌 손실(global loss)을 계산하고, SAI를 각 도메인(angular domain)의 횡축과 종축별로 묶어 로컬 손실(local loss)을 계산하여 신경망을 최적화 하는 얼굴 라이트필드 합성 장치
|
| 7 |
7
삭제
|
| 8 |
8
제5항에 있어서,깊이영상 추정부는, 이동된 입력 영상을 공간 도메인(spatial domain) 형태의 라이트필드 영상에서 각 도메인(angular domain) 형태의 라이트필드 영상으로 변환하고, 라이트필드 영상의 전단변환과 재배치의 반복을 통해 CAE(Cross Angular Entropy) 정합비용 계산방식을 사용하여 최종적인 깊이 값을 결정하는 얼굴 라이트필드 합성 장치
|
