| 1 |
1
단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈을 포함하고, 상기 입력 모듈은, 상기 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용되는 라이트필드 합성 장치
|
| 2 |
2
단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈을 포함하고, 상기 VLDI 변형 모듈은, 추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체하는 라이트필드 합성 장치
|
| 3 |
3
단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈을 포함하고, 상기 VLDI 변형 모듈은, VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구하고, 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 하는 라이트필드 합성 장치
|
| 4 |
4
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계를 포함하고, 상기 입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계는, 상기 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용되는라이트필드 합성 방법
|
| 5 |
5
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계를 포함하고, 상기 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계는, 추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체하는 라이트필드 합성 방법
|
| 6 |
6
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계; 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계를 포함하고, 상기 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계는, VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구하고, 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 하는 라이트필드 합성 방법
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
