| 1 |
1
다수 프레임의 스테레오 영상을 획득하는 스테레오 영상 획득부; 및 동일 구조를 갖고 패턴 인식 방법이 미리 학습되어 동일한 학습 가중치를 갖는 다수의 컨볼루션 신경망(이하 CNN)을 포함하여, 상기 스테레오 영상 획득부에서 전달되는 연속된 2개 프레임의 스테레오 영상 세트에서 연속된 프레임의 영상들에 대한 옵티컬플로우와 시차에 따라 구분되는 좌영상과 우영상 사이의 디스패리티를 동시에 추정하여 출력하는 추정부; 를 포함하고, 상기 추정부의 다수의 CNN은 학습 시에 입력된 연속된 2개 프레임의 스테레오 영상 세트의 4개의 영상 중 하나의 영상의 각 픽셀로부터 기지정된 순방향 및 역방향 각각으로 나머지 영상을 사이클하여 탐색된 대응점의 위치의 변화의 합을 나타내는 사이클 전이 결과에 따라 획득되는 사이클 일관성 손실을 포함하는 총 손실이 역전파되어 업데이트된 상기 학습 가중치로 학습된 옵티컬플로우 및 디스패리티 추정 장치
|
| 2 |
2
제1 항에 있어서, 상기 사이클 일관성 손실은 상기 4개의 영상 중 순방향 및 역방향으로의 사이클 경로에서 2개씩의 영상 사이에 대응점의 존재 여부를 나타내는 사이클 신뢰도 맵을 상기 사이클 전이 결과에 반영하여 획득되는 옵티컬플로우 및 디스패리티 추정 장치
|
| 3 |
3
제2 항에 있어서, 상기 사이클 일관성 손실은 순방향 및 역방향으로의 각 픽셀에 대한 사이클 일관성 손실이 기지정된 문턱값을 초과하면, 해당 픽셀의 사이클 일관성 손실을 문턱값으로 출력하는 옵티컬플로우 및 디스패리티 추정 장치
|
| 4 |
4
제1 항에 있어서, 상기 총 손실은 학습 시에 상기 4개의 영상 중 프레임 순서에 따른 2개의 영상 사이, 동일 프레임의 2개의 영상 사이, 프레임과 시차가 상이한 2개의 영상 사이 각각에서 각 픽셀에 대한 대응점의 픽셀값과 그래디언트 값에 따라 획득되는 복원 손실을 추가로 포함하는 옵티컬플로우 및 디스패리티 추정 장치
|
| 5 |
5
제4 항에 있어서, 상기 복원 손실은 프레임 순서에 따른 2개의 영상 사이, 동일 프레임의 2개의 영상 사이, 프레임과 시차가 상이한 2개의 영상 사이 각각에서 대응점의 존재 여부를 나타내는 신뢰도 맵을 더 반영하여 획득되는 옵티컬플로우 및 디스패리티 추정 장치
|
| 6 |
6
제4 항에 있어서, 상기 총 손실은 상기 4개의 영상에서 프레임 순서에 따라 획득된 옵티컬플로우 변화를 제한하는 옵티컬플로우 평활화 손실과 시차에 따라 획득된 디스패리티의 변화를 제한하는 디스패리티 평활화 손실을 추가로 포함하는 옵티컬플로우 및 디스패리티 추정 장치
|
| 7 |
7
제6 항에 있어서, 상기 옵티컬플로우 및 디스패리티 추정 장치는 상기 추정부의 다수의 CNN을 학습시키는 동안 결합되어 상기 학습 가중치를 획득하는 학습부를 더 포함하고, 상기 학습부는 상기 추정부의 다수의 CNN과 동일한 구조를 갖고, 상기 4개의 영상 중 서로 다른 조합의 2개씩의 영상에 대해 대응점의 위치 변화를 오프셋으로 획득하는 다수의 샴 CNN으로 구성된 오프셋 획득부; 상기 오프셋 획득부의 다수의 샴 CNN 각각에서 획득되는 다수의 오프셋을 이용하여, 상기 사이클 일관성 손실, 상기 복원 손실, 상기 옵티컬플로우 평활화 손실 및 상기 디스패리티 평활화 손실을 계산하는 손실 측정부; 및 상기 사이클 일관성 손실, 상기 복원 손실, 상기 옵티컬플로우 평활화 손실 및 상기 디스패리티 평활화 손실 각각에 대해 기지정된 손실 가중치를 적용하여 상기 총 손실을 획득하여 상기 다수의 샴 CNN으로 역전파하여, 상기 다수의 샴 CNN에 대한 학습 가중치를 업데이트하고, 상기 다수의 샴 CNN에 대한 학습이 완료되면, 상기 학습 가중치를 상기 추정부의 다수의 CNN으로 전달하는 손실 역전파부; 를 포함하는 옵티컬플로우 및 디스패리티 추정 장치
|
| 8 |
8
옵티컬플로우 및 디스패리티 추정 장치에서 수행되는 옵티컬플로우 및 디스패리티 추정 방법으로서, 다수 프레임의 스테레오 영상을 획득하는 단계; 및 동일 구조를 갖고 패턴 인식 방법이 미리 학습되어 동일한 학습 가중치를 갖는 다수의 컨볼루션 신경망(이하 CNN)을 이용하여, 상기 다수 프레임의 스테레오 영상 중 연속된 2개 프레임의 스테레오 영상 세트에서 연속된 프레임의 영상들에 대한 옵티컬플로우와 시차에 따라 구분되는 좌영상과 우영상 사이의 디스패리티를 동시에 추정하여 출력하는 단계; 를 포함하고, 상기 다수의 CNN은 학습 시에 입력된 연속된 2개 프레임의 스테레오 영상 세트의 4개의 영상 중 하나의 영상의 각 픽셀로부터 기지정된 순방향 및 역방향 각각으로 나머지 영상을 사이클하여 탐색된 대응점의 위치의 변화의 합을 나타내는 사이클 전이 결과에 따라 획득되는 사이클 일관성 손실을 포함하는 총 손실이 역전파되어 업데이트된 상기 학습 가중치로 학습된 옵티컬플로우 및 디스패리티 추정 방법
|
| 9 |
9
제8 항에 있어서, 상기 옵티컬플로우 및 디스패리티 추정 방법은 상기 다수의 CNN을 학습시키는 학습 단계를 더 포함하고, 상기 학습 단계는 상기 다수의 CNN과 동일한 구조를 갖는 다수의 샴 CNN을 이용하여, 학습 시에 입력된 상기 4개의 영상 중 서로 다른 조합의 2개씩의 영상에 대한 대응점의 위치 변화를 나타내는 다수의 오프셋으로 획득하는 단계; 상기 다수의 오프셋을 이용하여, 상기 사이클 전이 결과와 상기 4개의 영상 중 순방향 및 역방향으로의 사이클 경로에서 2개씩의 영상 사이에 대응점의 존재 여부를 나타내는 사이클 신뢰도 맵을 획득하고, 상기 사이클 신뢰도 맵을 상기 사이클 전이 결과에 반영하여 상기 사이클 일관성 손실을 획득하는 단계; 상기 4개의 영상 중 프레임 순서에 따른 2개의 영상 사이, 동일 프레임의 2개의 영상 사이, 프레임과 시차가 상이한 2개의 영상 사이 각각에서 각 픽셀에 대한 대응점의 픽셀값과 그래디언트 값에 따라 획득되는 복원 손실을 계산하는 단계; 상기 4개의 영상에서 프레임 순서에 따라 획득된 옵티컬플로우 변화를 제한하는 옵티컬플로우 평활화 손실과 시차에 따라 획득된 디스패리티의 변화를 제한하는 디스패리티 평활화 손실을 계산하는 단계; 상기 사이클 일관성 손실, 상기 복원 손실, 상기 옵티컬플로우 평활화 손실 및 상기 디스패리티 평활화 손실 각각에 대해 기지정된 손실 가중치를 적용하여 상기 총 손실을 획득하는 단계; 상기 총 손실을 상기 다수의 샴 CNN으로 역전파하여, 상기 다수의 샴 CNN에 대한 학습 가중치를 업데이트하는 단계; 및상기 다수의 샴 CNN에 대한 학습이 완료되면, 상기 학습 가중치를 상기 다수의 CNN으로 전달하는 단계; 를 포함하는 옵티컬플로우 및 디스패리티 추정 방법
|
| 10 |
10
제9 항에 있어서, 상기 학습 단계는 상기 4개의 영상 중 서로 다른 조합의 2개의 영상 사이 각각에서 대응점의 존재 여부를 나타내는 신뢰도 맵을 생성하는 단계; 및 상기 신뢰도 맵을 이용하여 상기 4개의 영상 중 순방향 및 역방향으로의 사이클 경로에서 2개씩의 영상 사이에 대응점의 존재 여부를 나타내는 사이클 신뢰도 맵을 생성하는 단계; 를 더 포함하고, 상기 사이클 일관성 손실을 획득하는 단계는 상기 사이클 신뢰도 맵을 상기 사이클 전이 결과에 반영하여 상기 사이클 일관성 손실을 획득하고, 상기 복원 손실을 계산하는 단계는 프레임 순서에 따른 2개의 영상 사이, 동일 프레임의 2개의 영상 사이, 프레임과 시차가 상이한 2개의 영상 사이 각각에서 획득된 신뢰도 맵을 반영하여 상기 복원 손실을 획득하는 옵티컬플로우 및 디스패리티 추정 방법
|
