| 1 |
1
사용자가 장면을 바라보는 위치(scene position) 및 상기 장면을 바라보는 방향(viewing direction)을 포함하는 뷰 생성 정보를 수신하는 단계;상기 뷰 생성 정보에 기초하여 형성되는 카메라 광선(camera ray) 상에서 샘플링할 복수의 포인트들(points)을 결정하는 단계; 중심점(center) 및 반지름(radius)에 의해 정의되는 가상의 실린더 좌표계를 기준으로 하는 상기 복수의 포인트들 각각의 위치를 결정하는 단계;상기 복수의 포인트들 각각의 위치를 전경 영상(foreground image)을 생성하는 제1 신경망 및 배경 영상(background image)을 생성하는 제2 신경망 중 어느 하나의 신경망에 인가함으로써 결정된 상기 카메라 광선에 대응하는 픽셀의 값을 상기 장면에 투영하여 렌더링하는 단계; 및 상기 렌더링 결과를 블렌딩(blending)한 렌더링 영상을 출력하는 단계를 포함하는, 영상 처리 방법
|
| 2 |
2
제1항에 있어서, 상기 복수의 포인트들 각각의 위치를 결정하는 단계는상기 가상의 실린더 좌표계의 중심점과 상기 복수의 포인트들 각각 간의 거리와 상기 가상의 실린더 좌표계의 반지름을 비교하는 단계; 및 상기 비교 결과를 기초로, 상기 복수의 포인트들 중 해당 포인트의 위치가 전경 및 배경 중 어디에 포함되는지를 결정하는 단계를 포함하는, 영상 처리 방법
|
| 3 |
3
제2항에 있어서, 상기 비교 결과를 기초로, 상기 복수의 포인트들 중 해당 포인트의 위치가 전경 및 배경 중 어디에 포함되는지를 결정하는 단계는상기 거리가 상기 가상의 실린더 좌표계의 반지름보다 작은 경우, 상기 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 내부에 대응하는 전경으로 결정하는 단계; 및 상기 거리가 상기 가상의 실린더 좌표계의 반지름 보다 크거나 같은 경우, 상기 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 외부에 대응하는 배경으로 결정하는 단계를 포함하는, 영상 처리 방법
|
| 4 |
4
제3항에 있어서, 상기 렌더링하는 단계는상기 해당 포인트의 위치가 상기 전경으로 결정된 경우, 상기 뷰 생성 정보를 상기 제1 신경망에 인가하여 렌더링하는 단계를 포함하는, 영상 처리 방법
|
| 5 |
5
제3항에 있어서, 상기 렌더링하는 단계는 상기 해당 포인트의 위치가 상기 배경으로 결정된 경우, 상기 뷰 생성 정보가 상기 가상의 실린더 좌표계의 반지름의 역수(1/r)를 포함하도록 변형하는 단계; 및 상기 변형된 뷰 생성 정보를 상기 제2 신경망에 인가하여 렌더링하는 단계를 포함하는, 영상 처리 방법
|
| 6 |
6
제3항에 있어서, 상기 제1 신경망은 상기 가상의 실린더 좌표계를 기준으로 인코딩된 상기 뷰 생성 정보가 입력됨에 따라 상기 전경 영상에서 상기 해당 포인트와 관련된 픽셀의 색상 및 볼륨 밀도를 출력하도록 트레이닝된 신경망을 포함하는, 영상 처리 방법
|
| 7 |
7
제3항에 있어서, 상기 제2 신경망은 상기 가상의 실린더 좌표계를 기준으로 인코딩된 변형된 뷰 생성 정보가 입력됨에 따라 상기 배경 영상에서 상기 해당 포인트와 관련된 픽셀의 색상 및 볼륨 밀도를 출력하도록 트레이닝된 신경망을 포함하는, 영상 처리 방법
|
| 8 |
8
제1항에 있어서, 상기 렌더링하는 단계는상기 복수의 포인트들 각각의 위치 별로 결정된 픽셀의 색상 및 볼륨 밀도를 상기 장면에 반복적으로 투영하여 렌더링하는 단계를 포함하는, 영상 처리 방법
|
| 9 |
9
영상 처리를 위한 트레이닝 방법에 있어서, 360 도 카메라로 촬영된 입력 영상의 복수의 영상 프레임들 각각에 포함된 적어도 하나의 객체에 대응하는 포즈 정보를 추정하는 단계;중심점과 반지름에 의해 정의되는 가상의 실린더 좌표계를 기준으로, 상기 포즈 정보에 기초하여 형성되는 카메라 광선들 별로 샘플링된 복수의 포인트들 각각의 위치를 인코딩하는 단계;상기 카메라 광선들 별로, 상기 인코딩한 복수의 포인트들 각각의 위치를 전경 영상을 생성하는 제1 신경망 및 배경 영상을 생성하는 제2 신경망 중 어느 하나의 신경망에 인가하여 획득한 픽셀 값들을 합산하여 렌더링하는 단계; 및 상기 카메라 광선들 별로 상기 렌더링 결과를 블렌딩하여 획득한 해당 카메라 광선의 픽셀 값을 기초로, 상기 제1 신경망 및 상기 제2 신경망을 트레이닝하는 단계를 포함하는, 트레이닝 방법
|
| 10 |
10
제9항에 있어서, 상기 인코딩하는 단계는상기 가상의 실린더 좌표계를 기준으로, 상기 360 도 카메라가 상기 적어도 하나의 객체를 바라보는 방향이 상기 가상의 실린더 좌표계에 대응하는 가상의 실린더의 내부에 있으면 상기 적어도 하나의 객체에 대응하는 포인트들을 전경으로 분리하여 인코딩하고, 상기 가상의 실린더의 외부에 있으면 상기 적어도 하나의 객체에 대응하는 포인트들을 배경으로 분리하여 인코딩하는 단계를 포함하는, 트레이닝 방법
|
| 11 |
11
제10항에 있어서, 상기 인코딩하는 단계는상기 가상의 실린더 좌표계를 기준으로, 상기 카메라 광선들 별로 샘플링된 복수의 포인트들 각각의 위치를 전경 및 배경 중 어느 하나로 결정하는 단계; 및 상기 결정에 기초하여, 상기 복수의 포인트들 각각의 위치를 인코딩하는 단계를 포함하는, 트레이닝 방법
|
| 12 |
12
제11항에 있어서, 상기 복수의 포인트들 각각의 위치를 전경 및 배경 중 어느 하나로 결정하는 단계는 상기 카메라 광선들 별로, 상기 가상의 실린더 좌표계의 중심점과 상기 복수의 포인트들 각각 간의 거리와 상기 가상의 실린더 좌표계의 반지름을 비교하는 단계; 및 상기 비교 결과를 기초로, 상기 복수의 포인트들 중 해당 포인트의 위치가 상기 전경 및 상기 배경 중 어디에 속하는지를 결정하는 단계를 포함하는, 트레이닝 방법
|
| 13 |
13
제12항에 있어서, 상기 해당 포인트의 위치가 상기 전경 및 상기 배경 중 어디에 속하는지를 결정하는 단계는 상기 거리가 상기 가상의 실린더 좌표계의 반지름보다 작은 경우, 상기 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 내부에 대응하는 상기 전경으로 결정하는 단계; 및 상기 거리가 상기 가상의 실린더 좌표계의 반지름 보다 크거나 같은 경우, 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 외부에 대응하는 상기 배경으로 결정하는 단계를 포함하는, 트레이닝 방법
|
| 14 |
14
제13항에 있어서, 상기 렌더링하는 단계는상기 해당 포인트의 위치가 상기 전경으로 결정된 경우, 상기 해당 포인트의 위치를 상기 제1 신경망에 인가하여 제1 렌더링하는 단계; 및 상기 해당 포인트의 위치가 상기 배경으로 결정된 경우, 상기 해당 포인트의 위치를 변경한 결과를 상기 제2 신경망에 인가하여 제2 렌더링하는 단계중 적어도 하나를 포함하는, 트레이닝 방법
|
| 15 |
15
제14항에 있어서, 상기 트레이닝하는 단계는상기 제1 렌더링 결과 및 상기 제2 렌더링 결과를 블렌딩하여 획득한 상기 해당 카메라 광선의 픽셀 값과 상기 입력 영상에서 상기 해당 카메라 광선에 대응하는 픽셀 값 간의 차이를 기초로, 상기 제1 신경망 및 상기 제2 신경망을 트레이닝하는 단계를 포함하는, 트레이닝 방법
|
| 16 |
16
하드웨어와 결합되어 제9항 내지 제15항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 17 |
17
사용자가 장면을 바라보는 위치 및 상기 장면을 바라보는 방향을 포함하는 뷰 생성 정보를 수신하는 통신 인터페이스; 및 상기 뷰 생성 정보에 기초하여 형성되는 카메라 광선 상에서 샘플링할 복수의 포인트들을 결정하고, 중심점과 반지름에 의해 정의되는 가상의 실린더 좌표계를 기준으로 하는 상기 복수의 포인트들 각각의 위치를 결정하고, 상기 복수의 포인트들 각각의 위치 별로, 해당 포인트를 전경 영상을 생성하는 제1 신경망 및 배경 영상을 생성하는 제2 신경망 중 어느 하나의 신경망에 인가함으로써 결정된 픽셀의 값을 상기 장면에 투영하여 렌더링하며, 상기 렌더링 결과를 블렌딩한 렌더링 영상을 생성하는 프로세서를 포함하는, 영상 처리 장치
|
| 18 |
18
제17항에 있어서, 상기 프로세서는 상기 가상의 실린더 좌표계의 중심점과 상기 복수의 포인트들 각각 간의 거리와 상기 가상의 실린더 좌표계의 반지름을 비교하고, 상기 비교 결과를 기초로, 상기 복수의 포인트들 중 해당 포인트의 위치가 전경 및 배경 중 어디에 속하는지를 결정하는, 영상 처리 장치
|
| 19 |
19
제18항에 있어서, 상기 프로세서는상기 거리가 상기 가상의 실린더 좌표계의 반지름보다 작은 경우, 상기 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 내부에 대응하는 상기 전경으로 결정하고, 상기 거리가 상기 가상의 실린더 좌표계의 반지름 보다 크거나 같은 경우, 상기 해당 포인트의 위치를 상기 가상의 실린더 좌표계의 외부에 대응하는 상기 배경으로 결정하는,영상 처리 장치
|
| 20 |
20
제19항에 있어서, 상기 프로세서는 상기 해당 포인트의 위치가 상기 전경으로 결정된 경우, 상기 뷰 생성 정보를 상기 제1 신경망에 인가하여 렌더링하고, 상기 해당 포인트의 위치가 상기 배경으로 결정된 경우, 상기 뷰 생성 정보가 상기 가상의 실린더 좌표계의 반지름의 역수를 포함하도록 변형한 뷰 생성 정보를 상기 제2 신경망에 인가하여 렌더링하는,영상 처리 장치
|
