| 1 |
1
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 영상 합성 방법에 있어서,상기 적어도 하나의 프로세서에 의해, 시야 추정 네트워크를 이용하여 파노라마 영상에 대해 상대적인 시야(Field of View, FoV)를 추정함으로써, 시야 영상을 생성하는 단계; 및상기 적어도 하나의 프로세서에 의해, 파노라마 생성 네트워크를 이용하여 상기 생성된 시야 영상으로부터 파노라마 영상을 생성하는 단계를 포함하고,상기 파노라마 생성 네트워크의 손실함수는, RGBD(Red Green Blue Depth) 네트워크의 RGB에 대한 제1 손실함수 및 상기 RGBD 네트워크의 깊이(Depth)에 대한 제2 손실함수를 포함하는 것을 특징으로 하는 영상 합성 방법
|
| 2 |
2
제1항에 있어서,상기 파노라마 생성 네트워크는 유-넷(U-Net) 기반의 적대적 생성 신경망 네트워크를 포함하는 것을 특징으로 하는 영상 합성 방법
|
| 3 |
3
제1항에 있어서,상기 파노라마 생성 네트워크는 적대적 손실함수로 LSGAN(Least Squares GAN(Generative Adversarial Network))을 사용하여 훈련되는 것을 특징으로 하는 영상 합성 방법
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서,상기 제1 손실함수는 상기 RGBD 네트워크의 RGB에 대한 제1 적대적 손실함수, 상기 RGBD 네트워크의 RGB에 대한 생성기에 의해 생성된 영상 및 대응하는 참값 영상간의 픽셀 손실함수, 상기 RGBD 네트워크의 RGB에 대한 지각 손실 목적함수 및 상기 생성된 영상과 상기 참값 영상간에 측정된 프레쳇 거리(Frechet distance) 손실함수를 이용하여 결정되는 것을 특징으로 하는 영상 합성 방법
|
| 6 |
6
제1항에 있어서,상기 제2 손실함수는 상기 RGBD 네트워크의 깊이에 대한 제2 적대적 손실함수, 상기 RGBD 네트워크의 깊이에 대한 생성기에 의해 생성된 영상 및 대응하는 참값 영상간의 픽셀 손실함수, 상기 RGBD 네트워크의 깊이에 대한 지각 손실 목적함수 및 상기 생성된 영상과 상기 참값 영상간에 측정된 프레쳇 거리 손실함수를 이용하여 결정되는 것을 특징으로 하는 영상 합성 방법
|
| 7 |
7
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 영상 합성 방법에 있어서,상기 적어도 하나의 프로세서에 의해, 시야 추정 네트워크를 이용하여 파노라마 영상에 대해 상대적인 시야(Field of View, FoV)를 추정함으로써, 시야 영상을 생성하는 단계; 및상기 적어도 하나의 프로세서에 의해, 파노라마 생성 네트워크를 이용하여 상기 생성된 시야 영상으로부터 파노라마 영상을 생성하는 단계를 포함하고,상기 파노라마 생성 네트워크는 RGBD 네트워크의 RGB에 대한 생성기에 의해 생성된 영상과 상기 RGBD 네트워크의 깊이에 대한 생성기에 의해 생성된 영상에 대하여 입력 영상의 참값 영역을 제외한 나머지 부분에 이진 마스크를 적용한 영상의 특징을 공유하고,상기 파노라마 생성 네트워크의 마지막 레이어의 출력이 상기 RGBD 네트워크의 마지막 블록에 채널 연결을 수행하여 상기 RGBD 네트워크의 디코더에 전달되는 것을 특징으로 하는 영상 합성 방법
|
| 8 |
8
컴퓨터 장치와 결합되어 제1항 내지 제3항 또는 제5항 내지 제7항 중 어느 한 항의 방법을 상기 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장되는 컴퓨터 프로그램
|
| 9 |
9
제1항 내지 제3항 또는 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체
|
| 10 |
10
컴퓨터 장치에 있어서,상기 컴퓨터 장치에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서에 의해,시야 추정 네트워크를 이용하여 파노라마 영상에 대해 상대적인 시야(Field of View, FoV)를 추정함으로써, 시야 영상을 생성하고,파노라마 생성 네트워크를 이용하여 상기 생성된 시야 영상으로부터 파노라마 영상을 생성하고,상기 파노라마 생성 네트워크의 손실함수는, RGBD(Red Green Blue Depth) 네트워크의 RGB에 대한 제1 손실함수 및 상기 RGBD 네트워크의 깊이(Depth)에 대한 제2 손실함수를 포함하는 것을 특징으로 하는 컴퓨터 장치
|
