| 1 |
1
시간 t에서 입력되는 좌우측 입력 영상의 부모 노드(t-1)에 대한 양안차와 광 흐름이 저장되어 있는 레지스터와,
상기 부모 노드에서 상기 시간 t의 좌우측 입력 영상에서 각각 추정되는 대응점, 좌측 영상을 기준으로 상기 부모 노드에서 추정된 상기 시간 t의 양안차 예측 값 및 상기 부모 노드의 좌우측 각 영상의 광 흐름 값을 계산하는 시간 업데이트부와,
상기 시간 업데이트부에서 계산된 상기 부모 노드에서의 광 흐름 값, 양안차 예측 값 및 대응점들을 이용하여 상기 좌우측 입력 영상에 대한 양안차와 광 흐름을 계산하여 상기 레지스터를 업데이트시키는 측정 값 업데이트부
를 포함하는 광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 2 |
2
제 1 항에 있어서,
상기 시간 업데이트부는,
아래의 수학식에 의해 상기 부모 노드에서의 광 흐름 값, 양안차 예측 값 및 대응점들을 계산하는
(는 시간 t-1의 모션()으로부터 추정된 시간 t의 좌우 영상에서 대응점, 는 좌측 영상을 기준으로 시간 t-1에서 추정된 시간 t의 양안차 예측 값, 는 시간 t-1에서 좌우측 영상 각각에서 계산된 시간 t-1 프레임의 광 흐름 값)
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 3 |
3
제 1 항에 있어서,
상기 측정 값 업데이트부는,
상기 입력 좌측 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우측 입력 영상의 픽셀들의 차를 최소화하는 양안차, 상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차간의 차를 최소화하는 양안차 및 임의의 픽셀에서 이전 픽셀로의 불연속 패널티를 토대로 상기 시간 t의 양안차를 계산하는 양안차 업데이트 모듈과,
상기 시간 t의 좌우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우측 영상의 밝기 차이 값, 상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 시간 업데이트부에서 추정된 상기 양안차 예측 값의 차가 최소가 되는 픽셀 위치를 이용하여 상기 시간 t의 광 흐름을 계산하는 광 흐름 업데이트 모듈을 포함하는
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 4 |
4
제 3 항에 있어서,
상기 양안차 업데이트 모듈은,
아래의 수학식의 에너지 함수를 최소화하는 양안차를 계산하여 상기 시간 t의 양안차를 계산하는
(은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화 하는 양안차 d를 찾는 것을 의미하며, 은 시간 t-1의 영상에서 예측, 추정한 시간 t에서의 양안차 예측 값()과 시간 t에서 선택할 수 있는 양안차의 차를 최소화하는 양안차 d)
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 5 |
5
제 4 항에 있어서,
상기 양안차 업데이트 모듈은, BP 또는 DP의 스테레오 매칭 기법을 이용하여 상기 에너지 함수를 최소화하는 양안차를 찾는
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 6 |
6
제 3 항에 있어서,
상기 광 흐름 업데이트 모듈은,
아래의 수학식의 에너지 함수를 최소화하는 픽셀의 위치를 찾고, 상기 찾은 픽셀에서의 상기 부모 노드의 프레임과 상기 시간 t의 프레임의 위치 차를 산출하여 상기 시간 t의 광 흐름 값을 산출하는
(은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값, 은 시간 t에서 어떤 픽셀(x)의 양안차 와 양안차 예측값(())의 차가 최소가 되는 픽셀위치(x'))
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 장치
|
| 7 |
7
기 저장된 시간 t-1의 광 흐름으로부터 시간 t의 좌우측 입력 영상의 대응점들을 추정하는 단계와,
상기 추정된 대응점들로부터 상기 시간 t의 추정된 양안차 예측 값과 상기 시간 t-1에서의 광 흐름을 추정하는 단계와,
상기 추정된 시간 t-1에서의 광 흐름, 상기 양안차 예측 값 및 상기 추정된 대응점을 이용하여 상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계를 포함하는
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법
|
| 8 |
8
제 7 항에 있어서,
상기 시간 t의 양안차 예측 값은, 상기 좌우측 입력 프레임에서 상기 좌측 입력 영상을 기준으로 상기 시간 t-1에서 추정된 상기 시간 t의 양안차 예측 값인
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법
|
| 9 |
9
제 7 항에 있어서,
상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,
상기 좌측 입력 영상을 기준으로 동일 라인 상에 존재하는 상기 좌우 입력 영상의 픽셀들간 차를 최소화하는 제 1 양안차를 찾는 단계와,
상기 양안차 예측 값과 상기 시간 t에서 선택할 수 있는 양안차의 차를 최소화할 수 있는 제 2 양안차를 찾는 단계와,
상기 좌측 또는 우측 입력 영상 프레임의 특정 픽셀에서 이웃하는 픽셀으로의 불연속 패널티 값을 산출하는 단계와,
상기 제 1 양안차, 제 2 양안차 및 상기 패널티 값으로 구성된 에너지 함수를 최소화하는 값을 상기 시간 t의 양안차로 산출하는 단계를 포함하는
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법
|
| 10 |
10
제 7 항에 있어서,
상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,
상기 좌측 또는 우측 입력 영상에서 특정 픽셀의 이웃 픽셀에 대한 좌우 영상의 밝기 차이 값을 산출하는 단계와,
상기 시간 t에서 상기 특정 픽셀의 양안차와 상기 양안차 예측 값의 차가 최소가 되는 픽셀의 위치를 찾는 단계와,
상기 밝기 차이 값과 상기 픽셀의 위치를 에너지 함수로 하여 상기 에너지 함수를 최소화하는 값을 상기 시간 t의 광 흐름 값으로 산출하는 단계를 포함하는
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법
|
| 11 |
11
제 7 항에 있어서,
상기 시간 t의 양안차와 광 흐름 값을 산출하는 단계는,
아래의 수학식으로 표현된 에너지 함수를 최소화하는 값들로부터 상기 시간 t의 양안차와 광 흐름 값을 산출하는
(은 어떤 픽셀(x)의 이웃 픽셀(x')에 대한 좌, 우 영상의 밝기(intensity) 차이 값, 은 좌측 영상을 기준으로 동일 라인(y축)상에 존재하는 좌, 우 영상의 픽셀들의 차를 최소화 하는 양안차 d, 은 양안차 예측 값과 시간 t에서 선택할 수 있는 양안차의 차를 최소화 하는 양안차 d)
광 흐름과 스테레오 매칭을 융합한 3차원 구조 추정 방법
|
