| 1 |
1
딥 뉴럴 네트워크 구조 기반의 장면 흐름 추정 장치에 의해 수행되는 딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 방법에 있어서,(a) t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자를 순차적으로 다운 샘플링하면서 제1 목표 해상도에서의 시각적 디스패리티 표현자를 추출하고, 상기 t 시간에서의 상기 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자를 순차적으로 다운 샘플링하면서 제2 목표 해상도에서의 시각적 광학흐름 표현자를 추출하는 단계; 및(b) 추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 제1 목표 해상도에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 제1 목표 해상도에서의 디스패리티 확률정보를 추정하고, 추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 제2 목표 해상도에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 제2 목표 해상도에서의 광학흐름 확률정보를 추정하는 단계를 포함하는 장면 흐름 추정 방법
|
| 2 |
2
제1항에 있어서,(c) 상기 제1 목표 해상도에서의 디스패리티 대응점 후보군에 대한 정합도 또는 정합도 기반으로 추정된 디스패리티 확률정보를 입력으로 상기 디스패리티 확률정보에 상기 제1 목표 해상도로부터의 순차적인 업 샘플링을 적용하여 상기 t 시간에서의 제1 시점 이미지 및 제2 시점 이미지에 대응하는 디스패리티를 추정하고, 상기 제2 목표 해상도에서의 광학흐름 대응점 후보군에 대한 정합도 또는 정합도 기반으로 추정된 광학흐름 확률정보를 입력으로 상기 광학흐름 확률정보에 상기 제2 목표 해상도로부터의 순차적인 업 샘플링을 적용하여 상기 t 시간에서의 상기 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지에 대응하는 광학흐름을 추정하는 단계,를 더 포함하는 장면 흐름 추정 방법
|
| 3 |
3
제1항에 있어서,상기 (a) 단계는,순차적으로 상기 다운 샘플링 수행시 계층적으로 구비된 디스패리티 대응 복수 레이어 각각에 포함된 다층 CNN의 적용을 통해 디스패리티 대응 복수 레이어 각각에 대응하는 해상도별 시각적 디스패리티 표현자를 추출하고, 상기 해상도별 시각적 디스패리티 표현자에 대하여 다운 샘플링을 수행하고,순차적으로 상기 다운 샘플링 수행시 계층적으로 구비된 광학흐름 대응 복수 레이어 각각에 포함된 다층 CNN의 적용을 통해 광학흐름 대응 복수 레이어 각각에 대응하는 해상도별 시각적 광학흐름 표현자를 추출하고, 상기 해상도별 시각적 광학흐름 표현자에 대하여 다운 샘플링을 수행하는 것인, 장면 흐름 추정 방법
|
| 4 |
4
제1항에 있어서,상기 (b) 단계에서, 상기 디스패리티 대응점 후보군에 대한 정합도는 상기 제1 목표 해상도에서의 시각적 디스패리티 표현자 간의 내적 연산에 의하여 산출되고,상기 광학흐름 대응점 후보군에 대한 정합도는 상기 제2 목표 해상도에서의 시각적 광학흐름 표현자 간의 내적 연산에 의하여 산출되는 것인, 장면 흐름 추정 방법
|
| 5 |
5
제1항에 있어서,상기 디스패리티 확률정보 및 상기 광학흐름 확률정보는 정규화된 확률정보인 것인, 장면 흐름 추정 방법
|
| 6 |
6
제2항에 있어서,상기 (c) 단계는,순차적으로 상기 업 샘플링 수행시 계층적으로 구비된 디스패리티 대응 복수 레이어 각각에 대응하는 정합도 또는 정합도 기반의 디스패리티 확률정보에 다층 CNN을 적용하여 업 샘플링을 수행하고, 디스패리티 대응 복수 레이어 각각에 대응하여 출력된 CNN 출력값에 다른 다층 CNN을 적용하여 디스패리티 대응 복수 레이어 각각에 대응하는 해상도별 디스패리티를 추정하고,순차적으로 상기 업 샘플링 수행시 계층적으로 구비된 광학흐름 대응 복수 레이어 각각에 대응하는 정합도 또는 정합도 기반의 광학흐름 확률정보에 다층 CNN을 적용하여 업 샘플링을 수행하고, 광학흐름 대응 복수 레이어 각각에 대응하여 출력된 CNN 출력값에 다른 다층 CNN을 적용하여 광학흐름 대응 복수 레이어 각각에 대응하는 해상도별 광학흐름을 추정하는 것인, 장면 흐름 추정 방법
|
| 7 |
7
딥 뉴럴 네트워크 구조 기반의 장면 흐름 추정 장치에 의해 수행되는 딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 방법에 있어서,(a) t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자를 순차적으로 다운 샘플링하면서 목표 해상도에서의 시각적 디스패리티 표현자를 추출하는 단계; 및(b) 추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 목표 해상도에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 목표 해상도에서의 디스패리티 확률정보를 추정하는 단계를 포함하는 장면 흐름 추정 방법
|
| 8 |
8
딥 뉴럴 네트워크 구조 기반의 장면 흐름 추정 장치에 의해 수행되는 딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 방법에 있어서,(a) t 시간에서의 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자를 순차적으로 다운 샘플링하면서 목표 해상도에서의 시각적 광학흐름 표현자를 추출하는 단계; 및(b) 추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 목표 해상도에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 목표 해상도에서의 광학흐름 확률정보를 추정하는 단계를 포함하는 장면 흐름 추정 방법
|
| 9 |
9
장면 흐름 학습을 위한 장면 흐름 학습 장치에 의해 수행되는 딥 뉴럴 네트워크 구조 기반의 장면 흐름 추정을 위한 장면 흐름 학습 방법에 있어서,(a) 복수의 계층 중 어느 하나인 다운 샘플링 계층에 대하여 t 시간에서의 제1 시점 이미지 및 제2 시점 이미지에 대응하는 타깃 디스패리티 확률정보를 학습대상으로서 산출하는 단계;(b) 상기 다운 샘플링 계층에 포함된 다층 CNN의 적용을 통해 시각적 디스패리티 표현자를 추출하는 단계; 및(c) 추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 다운 샘플링 계층에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 다운 샘플링 계층에서의 디스패리티 확률정보를 추정한 다음, 상기 다운 샘플링 계층에 대한 타깃 디스패리티 확률정보와의 차이가 최소화되도록 학습하는 단계를 포함하고,상기 (a) 단계 내지 상기 (c) 단계는, t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자가 목표 해상도까지 순차적으로 다운 샘플링되는 상기 복수의 계층 각각에 대하여 차례로 수행되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 10 |
10
제9항에 있어서,상기 타깃 디스패리티 확률정보는, 상기 제1 시점 이미지의 상기 다운 샘플링 계층의 해상도에 대응하는 이미지 및 상기 제2 시점 이미지의 상기 다운 샘플링 계층의 해상도에 대응하는 이미지 상의 대응 후보점 사이의 거리 관계에 기반하여 거리에 반비례하도록 산출되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 11 |
11
제9항에 있어서,(d) 상기 복수의 계층 중 어느 하나인 업 샘플링 계층에 포함된 다층CNN을 상기 업 샘플링 계층의 하위 계층에서 전달된 디스패리티 확률정보 및 상기 업 샘플링 계층에 대응하는 디스패리티 정합도 정보 중 하나 이상에 적용함으로써 상기 업 샘플링 계층에 대하여 상기 t 시간에서의 제1 시점 이미지 및 제2 시점 이미지에 대응하는 디스패리티를 추정하는 단계;(e) 상기 업 샘플링 계층에서의 타깃 디스패리티와 상기 (d) 단계에서 추정된 디스패리티에 관한 정합도 차이가 최소화되도록 학습하는 단계,를 더 포함하되,상기 디스패리티 정합도 정보는, 상기 (c) 단계의 수행을 통해 상기 업 샘플링 계층에 대응하는 다운 샘플링 계층에 대하여 학습된 시각적 디스패리티 표현자를 이용하여 산출된 정합도 또는 정합도 기반으로 추정된 디스패리티 확률정보이고,상기 타깃 디스패리티는, 상기 (c) 단계의 수행을 통해 상기 업 샘플링 계층에 대응하는 다운 샘플링 계층에 대하여 학습된 시각적 디스패리티 표현자를 이용하여 산출되고,상기 (d) 단계 및 상기 (e) 단계는, 상기 (c) 단계를 통해 상기 목표 해상도에서 학습된 디스패리티 확률정보를 입력으로 각 업 샘플링 계층마다 포함된 다층 CNN 및 업 샘플링의 적용을 통해 상위 계층으로 전달되는 디스패티리 확률정보 및 각 업 샘플링 계층에 대응하는 디스패리티 정합도 정보 중 하나 이상이 원본 해상도까지 순차적으로 전달되는 상기 복수의 계층 각각에 대하여 차례로 수행되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 12 |
12
장면 흐름 학습을 위한 장면 흐름 학습 장치에 의해 수행되는 딥 뉴럴 네트워크 구조 기반의 장면 흐름 추정을 위한 장면 흐름 학습 방법에 있어서,(a) 복수의 계층 중 어느 하나인 다운 샘플링 계층에 대하여 t 시간에서의 제1 시점 이미지 및 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지에 대응하는 타깃 광학흐름 확률정보를 산출하는 단계;(b) 상기 다운 샘플링 계층에 포함된 다층 CNN의 적용을 통해 시각적 광학흐름 표현자를 추출하는 단계; 및(c) 추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 다운 샘플링 계층에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 다운 샘플링 계층에서의 광학흐름 확률정보를 추정한 다음, 상기 다운 샘플링 계층에 대한 타깃 광학흐름 확률정보와의 차이가 최소화되도록 시각적 광학흐름 표현자를 학습하는 단계를 포함하고,상기 (a) 단계 내지 상기 (c) 단계는, t 시간에서의 제1 시점 이미지 및 상기 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자가 목표 해상도까지 순차적으로 다운 샘플링되는 상기 복수의 계층 각각에 대하여 차례로 수행되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 13 |
13
제12항에 있어서,상기 타깃 광학흐름 확률정보는, 상기 제1 시점 이미지의 상기 다운 샘플링 계층의 해상도에 대응하는 이미지 및 상기 (t-1) 시간에서의 제1 시점 이미지의 상기 다운 샘플링 계층의 해상도에 대응하는 이미지 상의 대응 후보점 사이의 거리 관계에 기반하여 거리에 반비례하도록 산출되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 14 |
14
제12항에 있어서,(d) 상기 복수의 계층 중 어느 하나인 업 샘플링 계층에 포함된 다층 CNN을 상기 업 샘플링 계층의 하위 계층에서 전달된 광학흐름 확률정보 및 상기 업 샘플링 계층에 대응하는 광학흐름 정합도 정보 중 하나 이상에 적용함으로써 상기 업 샘플링 계층에 대하여 상기 t 시간에서의 제1 시점 이미지 및 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지에 대응하는 광학흐름을 추정하는 단계;(e) 상기 업 샘플링 계층에서의 타깃 광학흐름과 상기 (d) 단계에서 추정된 광학흐름에 관한 정합도 차이가 최소화되도록 학습하는 단계,를 더 포함하되,상기 광학흐름 정합도 정보는, 상기 (c) 단계의 수행을 통해 상기 업 샘플링 계층에 대응하는 다운 샘플링 계층에 대하여 학습된 시각적 광학흐름 표현자를 이용하여 산출된 정합도 또는 정합도 기반으로 추정된 광학흐름 확률정보이고,상기 타깃 광학흐름은, 상기 (c) 단계의 수행을 통해 상기 업 샘플링 계층에 대응하는 다운 샘플링 계층에 대하여 학습된 시각적 광학흐름 표현자를 이용하여 산출되고,상기 (d) 단계 및 상기 (e) 단계는, 상기 (c) 단계를 통해 상기 목표 해상도에서 학습된 광학흐름 확률정보를 입력으로 각 업 샘플링 계층마다 포함된 다층 CNN 및 업 샘플링의 적용을 통해 상위 계층으로 전달되는 광학흐름 확률정보 및 각 업 샘플링 계층에 대응하는 광학흐름 정합도 정보 중 하나 이상이 원본 해상도까지 순차적으로 전달되는 상기 복수의 계층 각각에 대하여 차례로 수행되는 것인, 장면 흐름 추정을 위한 장면 흐름 학습 방법
|
| 15 |
15
딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 장치에 있어서,t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자를 순차적으로 다운 샘플링하면서 제1 목표 해상도에서의 시각적 디스패리티 표현자를 추출하고, 상기 t 시간에서의 상기 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자를 순차적으로 다운 샘플링하면서 제2 목표 해상도에서의 시각적 광학흐름 표현자를 추출하는 시각적 표현자 추출부; 및추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 제1 목표 해상도에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 제1 목표 해상도에서의 디스패리티 확률정보를 추정하고, 추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 제2 목표 해상도에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 제2 목표 해상도에서의 광학흐름 확률정보를 추정하는 확률정보 추정부를 포함하는 장면 흐름(scene flow) 추정 장치
|
| 16 |
16
제15항에 있어서,상기 제1 목표 해상도에서의 디스패리티 확률정보를 입력으로 상기 디스패리티 확률정보에 상기 제1 목표 해상도로부터의 순차적인 업 샘플링을 적용하여 상기 t 시간에서의 제1 시점 이미지 및 제2 시점 이미지에 대응하는 디스패리티를 추정하고, 상기 제2 목표 해상도에서의 광학흐름 확률정보를 입력으로 상기 광학흐름 확률정보에 상기 제2 목표 해상도로부터의 순차적인 업 샘플링을 적용하여 상기 t 시간에서의 상기 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지에 대응하는 광학흐름을 추정하는 추정부,를 더 포함하는 장면 흐름 추정 장치
|
| 17 |
17
딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 장치에 있어서,t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자를 순차적으로 다운 샘플링하면서 목표 해상도에서의 시각적 디스패리티 표현자를 추출하는 시각적 디스패리티 표현자 추출부; 및추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 목표 해상도에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 목표 해상도에서의 디스패리티 확률정보를 추정하는 디스패리티 확률정보 추정부를 포함하는 장면 흐름 추정 장치
|
| 18 |
18
딥 뉴럴 네트워크 구조 기반의 장면 흐름(scene flow) 추정 장치에 있어서,t 시간에서의 제1 시점 이미지와 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자를 순차적으로 다운 샘플링하면서 목표 해상도에서의 시각적 광학흐름 표현자를 추출하는 시각적 광학흐름 표현자 추출부; 및추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 목표 해상도에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 목표 해상도에서의 광학흐름 확률정보를 추정하는 광학흐름 확률정보 추정부를 포함하는 장면 흐름 추정 장치
|
| 19 |
19
장면 흐름 학습을 위한 장면 흐름 학습 장치에 있어서,복수의 계층 중 어느 하나인 다운 샘플링 계층에 대하여 t 시간에서의 제1 시점 이미지 및 제2 시점 이미지에 대응하는 타깃 디스패리티 확률정보를 산출하고,상기 다운 샘플링 계층에 포함된 다층 CNN의 적용을 통해 시각적 디스패리티 표현자를 추출하고,추출된 상기 시각적 디스패리티 표현자를 고려하여 산출된 상기 다운 샘플링 계층에서의 디스패리티 대응점 후보군에 대한 정합도를 이용하여 상기 다운 샘플링 계층에서의 디스패리티 확률정보를 추정한 다음, 상기 다운 샘플링 계층에 대한 타깃 디스패리티 확률분포와의 차이가 최소화되도록 시각적 디스패리티 표현자를 학습하는 디스패리티 학습부를 포함하고,상기 디스패리티 학습부는, t 시간에서의 제1 시점 이미지 및 제2 시점 이미지를 입력으로 시각적 디스패리티 표현자가 목표 해상도까지 순차적으로 다운 샘플링되는 상기 복수의 계층 각각에 대하여 차례로 학습을 수행하는 것인, 장면 흐름 학습을 위한 장면 흐름 학습 장치
|
| 20 |
20
장면 흐름 학습을 위한 장면 흐름 학습 장치에 있어서,복수의 계층 중 어느 하나인 다운 샘플링 계층에 대하여 t 시간에서의 제1 시점 이미지 및 상기 t 시간보다 이전인 (t-1) 시간에서의 제1 시점 이미지에 대응하는 타깃 광학흐름 확률정보를 산출하고,상기 다운 샘플링 계층에 포함된 다층 CNN의 적용을 통해 시각적 광학흐름 표현자를 추출하고,추출된 상기 시각적 광학흐름 표현자를 고려하여 산출된 상기 다운 샘플링 계층에서의 광학흐름 대응점 후보군에 대한 정합도를 이용하여 상기 다운 샘플링 계층에서의 광학흐름 확률정보를 추정한 다음, 상기 다운 샘플링 계층에 대한 타깃 광학흐름 확률정보와의 차이가 최소화되도록 시각적 광학흐름 표현자를 학습하는 광학흐름 학습부를 포함하고,상기 광학흐름 학습부는, t 시간에서의 제1 시점 이미지 및 상기 (t-1) 시간에서의 제1 시점 이미지를 입력으로 시각적 광학흐름 표현자가 목표 해상도까지 순차적으로 다운 샘플링되는 상기 복수의 계층 각각에 대하여 차례로 학습을 수행하는 것인, 장면 흐름 학습을 위한 장면 흐름 학습 장치
|
| 21 |
21
제1항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
