| 1 |
1
입력 이미지의 제1 프레임 및 제2 프레임을 동일한 인코더를 통해 인코딩하여 제1 피처 피라미드(feature pyramid) 및 제2 피처 피라미드를 획득하는 단계;상기 제1 피처 피라미드에 기초하여 깊이 특징을 추출하는 단계;상기 제1 피처 피라미드 및 상기 제2 피처 피라미드에 기초하여 모션 특징을 추출하는 단계;상기 깊이 특징 및 상기 모션 특징에 기초하여 종합 특징을 생성하는 단계; 및상기 종합 특징에 기초하여 씬 플로우 추정하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 2 |
2
제1항에 있어서,상기 깊이 특징에 기초하여 상기 입력 이미지의 깊이를 추정하는 단계; 및상기 모션 특징에 기초하여 상기 입력 이미지의 옵티컬 플로우(optical flow)를 추정하는 단계를 더 포함하는, 씬 플로우 추정 방법
|
| 3 |
3
제2항에 있어서,상기 깊이 특징을 추출하는 단계는,상기 제1 피처 피라미드의 제1 레벨 및 제2 레벨에 대한 디코딩을 수행하는 단계; 및상기 디코딩 결과를 이용하여 상기 제2 피처 피라미드의 제3 레벨에 대한 디코딩을 수행하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 4 |
4
제3항에 있어서,상기 제1 레벨 및 제2 레벨에 대한 디코딩을 수행하는 단계는,상기 제1 레벨에 대한 제1 컨벌루션 연산을 수행하는 단계;상기 제1 컨벌루션 연산 결과를 업샘플링하여 상기 제2 레벨과 합하는(concatenating) 단계; 및상기 합쳐진 결과에 대한 제2 컨벌루션 연산을 수행하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 5 |
5
제4항에 있어서,상기 제3 레벨에 대한 디코딩을 수행하는 단계는,상기 디코딩 결과를 직전 단계의 씬 플로우 추정 결과와 합하여 제1 컨벌루션 연산을 수행하는 단계;상기 제1 컨벌루션 연산 결과를 업샘플링하여 상기 제3 레벨과 합하는 단계:상기 합쳐진 결과에 대한 제2 컨벌루션 연산을 수행하는 단계; 및상기 제2 컨벌루션 연산 결과를 상기 종합 특징과 합하여 제3 컨벌루션 연산을 수행하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 6 |
6
제2항에 있어서,상기 모션 특징을 추출하는 단계는,상기 제2 피처 피라미드의 제1 레벨을 워핑 레이어(warping layer)에 입력하는 단계;상기 워핑 레이어의 출력 및 상기 제1 피처 피라미드의 제1 레벨을 상관 관계 레이어(correlation layer)에 입력하는 단계; 및상기 상관 관계 레이어의 출력을 상기 제1 피처 피라미드의 제1 레벨과 합하여 복수의 컨벌루션 연산을 수행하는 상관 관계 정규화 모듈(correlation regularization module)에 입력하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 7 |
7
제6항에 있어서,상기 워핑 레이어는,직전 단계에서 상기 모션 특징에 기초한 옵티컬 플로우 추정 결과 및 직전 단계에서 상기 종합 특징에 기초한 씬 플로우 추정 결과에 기초하여 상기 제2 피처 피라미드의 제1 레벨의 각 픽셀의 위치를 조정하는, 씬 플로우 추정 방법
|
| 8 |
8
제6항에 있어서,상기 상관 관계 레이어는,상기 제1 피처 피라미드의 제1 레벨의 각 픽셀에 대해 상기 워핑 레이어의 출력과의 상관 관계를 계산하는, 씬 플로우 추정 방법
|
| 9 |
9
제1항에 있어서,상기 종합 특징을 생성하는 단계는,상기 깊이 특징에 최단입점 보간(nearest-neighbor interpolation)을 수행하여 상기 모션 특징에 합하는 단계;상기 합쳐진 특징에 기초하여 컨벌루션 연산을 수행하여 공간 특징을 추출하는 단계;상기 합쳐진 특징에 GAP(global average interpolation) 연산을 수행하여 채널 특징을 추출하는 단계; 및상기 공간 특징, 상기 채널 특징 및 상기 모션 특징에 기초하여 종합 특징을 획득하는 단계를 포함하는, 씬 플로우 추정 방법
|
| 10 |
10
하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
|
| 11 |
11
인스트럭션들을 포함하는 메모리; 및상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고,상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,입력 이미지의 제1 프레임 및 제2 프레임을 동일한 인코더를 통해 인코딩하여 제1 피처 피라미드(feature pyramid) 및 제2 피처 피라미드를 획득하고,상기 제1 피처 피라미드에 기초하여 깊이 특징을 추출하고,상기 제1 피처 피라미드 및 상기 제2 피처 피라미드에 기초하여 모션 특징을 추출하고,상기 깊이 특징 및 상기 모션 특징에 기초하여 종합 특징을 생성하고,상기 종합 특징에 기초하여 씬 플로우 추정하는, 씬 플로우 추정 장치
|
| 12 |
12
제11항에 있어서,상기 프로세서는,상기 깊이 특징에 기초하여 상기 입력 이미지의 깊이를 추정하고,상기 모션 특징에 기초하여 상기 입력 이미지의 옵티컬 플로우(optical flow)를 추정하는, 씬 플로우 추정 장치
|
| 13 |
13
제12항에 있어서,상기 프로세서는,상기 제1 피처 피라미드의 제1 레벨 및 제2 레벨에 대한 디코딩을 수행하고,상기 디코딩 결과를 이용하여 상기 제2 피처 피라미드의 제3 레벨에 대한 디코딩을 수행하는, 씬 플로우 추정 장치
|
| 14 |
14
제13항에 있어서,상기 프로세서는,상기 제1 레벨에 대한 제1 컨벌루션 연산을 수행하고,상기 제1 컨벌루션 연산 결과를 업샘플링하여 상기 제2 레벨과 합하고(concatenate),상기 합쳐진 결과에 대한 제2 컨벌루션 연산을 수행하는, 씬 플로우 추정 장치
|
| 15 |
15
제14항에 있어서,상기 프로세서는,상기 디코딩 결과를 직전 단계의 씬 플로우 추정 결과와 합하여 제1 컨벌루션 연산을 수행하고,상기 제1 컨벌루션 연산 결과를 업샘플링하여 상기 제3 레벨과 합하고, 상기 합쳐진 결과에 대한 제2 컨벌루션 연산을 수행하고,상기 제2 컨벌루션 연산 결과를 상기 종합 특징과 합하여 제3 컨벌루션 연산을 수행하는, 씬 플로우 추정 장치
|
| 16 |
16
제12항에 있어서,상기 프로세서는,상기 제2 피처 피라미드의 제1 레벨을 워핑 레이어(warping layer)에 입력하고,상기 워핑 레이어의 출력 및 상기 제1 피처 피라미드의 제1 레벨을 상관 관계 레이어(correlation layer)에 입력하고,상기 상관 관계 레이어의 출력을 상기 제1 피처 피라미드의 제1 레벨과 합하여 복수의 컨벌루션 연산을 수행하는 상관 관계 정규화 모듈(correlation regularization module)에 입력하는, 씬 플로우 추정 장치
|
| 17 |
17
제16항에 있어서,상기 워핑 레이어는,직전 단계에서 상기 모션 특징에 기초한 옵티컬 플로우 추정 결과 및 직전 단계에서 상기 종합 특징에 기초한 씬 플로우 추정 결과에 기초하여 상기 제2 피처 피라미드의 제1 레벨의 각 픽셀의 위치를 조정하는, 씬 플로우 추정 장치
|
| 18 |
18
제16항에 있어서,상기 상관 관계 레이어는,상기 제1 피처 피라미드의 제1 레벨의 각 픽셀에 대해 상기 워핑 레이어의 출력과의 상관 관계를 계산하는, 씬 플로우 추정 장치
|
| 19 |
19
제11항에 있어서,상기 프로세서는,상기 깊이 특징에 최단입점 보간(nearest-neighbor interpolation)을 수행하여 상기 모션 특징에 합하고,상기 합쳐진 특징에 기초하여 컨벌루션 연산을 수행하여 공간 특징을 추출하고,상기 합쳐진 특징에 GAP(global average interpolation) 연산을 수행하여 채널 특징을 추출하고,상기 공간 특징, 상기 채널 특징 및 상기 모션 특징에 기초하여 종합 특징을 획득하는, 씬 플로우 추정 장치
|
| 20 |
20
단안 이미지를 촬영하는 촬영 장치; 및제11항의 씬 플로우 추정 장치를 포함하는, 씬 플로우 추정 시스템
|
