| 1 |
1
해상도 향상이 요구되는 타겟 깊이지도로부터 특징을 추출하여 입력 특징정보를 생성하는 제 1 인코더부;상기 타겟 깊이지도와 동일한 장면의 컬러영상으로부터 특징을 추출하여 가이던스(guidance) 특징정보를 생성하는 제 2 인코더부;상기 가이던스 특징정보로부터 오프셋(offset)을 추출하고, 상기 추출된 오프셋에 기초하여 상기 입력 특징정보를 정제한 출력 특징정보를 생성하는 특징정제부; 및 상기 출력 특징정보를 디코딩하여 상기 타겟 깊이지도보다 해상도가 향상된 고해상도-깊이지도를 출력하는 디코더부를 포함하는, 깊이지도의 해상도 향상 장치
|
| 2 |
2
제 1 항에 있어서,상기 타겟 깊이지도를 업샘플링(upsampling) 하는 전처리부를 더 포함하고,상기 제 1 인코더부는 상기 업샘플링된 타겟 깊이지도로부터 상기 입력 특징정보를 생성하는 것인, 깊이지도의 해상도 향상 장치
|
| 3 |
3
제 2 항에 있어서,상기 디코더부는,상기 출력 특징정보를 디코딩하고 이를 상기 업샘플링된 타겟 깊이지도에 합산하여 상기 고해상도-깊이지도를 출력하는 것인, 깊이지도의 해상도 향상 장치
|
| 4 |
4
제 1 항에 있어서,상기 특징정제부는,상기 오프셋에 기초하여 상기 입력 특징정보에 대해 디포머블 컨볼루션(deformable convolution) 연산을 수행하는 것인, 깊이지도의 해상도 향상 장치
|
| 5 |
5
제 1 항에 있어서,상기 특징정제부는,상기 가이던스 특징정보를 기설정된 컨볼루션 레이어(convolution layer)에 적용하여 오프셋을 추출하고,상기 오프셋에 기초하여 상기 입력 특징정보 중 컨볼루션 연산에 사용될 픽셀을 선택하여 변형된 특징정보를 생성하고,상기 변형된 특징정보와 커널(Kernel) 가중치 간의 컨볼루션 연산을 통해 상기 출력 특징정보를 생성하는, 깊이지도의 해상도 향상 장치
|
| 6 |
6
해상도 향상 장치에서 수행되는 깊이지도의 해상도 향상 방법으로서,해상도 향상이 요구되는 타겟 깊이지도로부터 특징을 추출하여 입력 특징정보를 생성하는 단계;상기 타겟 깊이지도와 동일한 장면의 컬러영상으로부터 특징을 추출하여 가이던스(guidance) 특징정보를 생성하는 단계;상기 가이던스 특징정보로부터 오프셋(offset)을 추출하고, 상기 추출된 오프셋에 기초하여 상기 입력 특징정보를 정제한 출력 특징정보를 생성하는 단계; 및 상기 출력 특징정보를 디코딩하여 상기 타겟 깊이지도보다 해상도가 향상된 고해상도-깊이지도를 출력하는 단계를 포함하는, 깊이지도의 해상도 향상 방법
|
| 7 |
7
제 6 항에 있어서,상기 입력 특징정보를 생성하는 단계 이전에, 상기 타겟 깊이지도를 업샘플링(upsampling) 하는 단계를 더 포함하고,상기 입력 특징정보를 생성하는 단계는, 상기 업샘플링된 타겟 깊이지도로부터 상기 입력 특징정보를 생성하는 것인, 깊이지도의 해상도 향상 방법
|
| 8 |
8
제 7 항에 있어서,상기 고해상도-깊이지도를 출력하는 단계는,상기 출력 특징정보를 디코딩하고 이를 상기 업샘플링된 타겟 깊이지도에 합산하여 상기 고해상도-깊이지도를 출력하는 것인, 깊이지도의 해상도 향상 방법
|
| 9 |
9
제 6 항에 있어서,상기 출력 특징정보를 생성하는 단계는,상기 오프셋에 기초하여 상기 입력 특징정보에 대해 디포머블 컨볼루션(deformable convolution) 연산을 수행하는 것인, 깊이지도의 해상도 향상 방법
|
| 10 |
10
제 6 항에 있어서,상기 출력 특징정보를 생성하는 단계는,상기 가이던스 특징정보를 기설정된 컨볼루션 레이어(convolution layer)에 적용하여 오프셋을 추출하고,상기 오프셋에 기초하여 상기 입력 특징정보 중 컨볼루션 연산에 사용될 픽셀을 선택하여 변형된 특징정보를 생성하고,상기 변형된 특징정보와 커널(Kernel) 가중치 간의 컨볼루션 연산을 통해 상기 출력 특징정보를 생성하는, 깊이지도의 해상도 향상 방법
|
| 11 |
11
제 6 항 내지 제 10 항에 기재된, 깊이지도의 해상도 향상 방법을 실행하도록 구성된, 컴퓨터로 판독가능한 기록매체에 저장된 컴퓨터 판독가능한 프로그램
|
