| 1 |
1
단일 영상만을 사용하여 영상의 깊이 정보를 추정하는 깊이 추정 방법에 있어서,표준 데이터베이스의 입력 RGB 영상 X에 대하여 생성자(Generator) 와 생성자(Generator) 을 이용하여 깊이 정보와 세그맨테이션 영상 정보를 생성하는 단계(S10);생성된 깊이 정보와 세그맨테이션 영상 정보를 이용하여 RGB 영상을 복원하는 단계(S20);생성된 깊이 정보와 세그맨테이션 영상 정보 및 복원된 RGB 영상을 표준 데이터베이스와 각각 판별하여 비교하고, 각각에 대한 손실(Loss) 및 판별 확률을 계산하는 단계(S30);계산된 결과값을 토대로 각각의 손실 및 판별자(Discriminator)의 판별 확률 값이 미리 설정된 기준 수렴값을 만족하는지 판단하는 단계(S40);판단 결과를 토대로 손실 및 판별 확률 값이 미리 설정된 기준 수렴값을 만족하지 않는 경우 각각의 손실 및 판별자의 판별 확률 값이 미리 설정된 기준 수렴값에 수렴되도록 학습을 조정하고, 상기 (S10) 단계 내지 (S40) 단계를 반복 수행하는 단계(S50); 및상기 (S10) 단계 내지 (S50) 단계를 통해 생성된 생성자(Generator) 를 이용하여 RGB 데이터의 입력 RGB 영상에 대한 깊이 정보를 추정하는 단계(S60)를 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 2 |
2
제1항에 있어서,상기 (S10) 단계 내지 (S50) 단계를 통해 생성된 생성자(Generator) 을 이용하여 상기 RGB 데이터의 입력 RGB 영상에 대한 세그맨테이션 영상 정보를 추정하는 단계(S70)를 더 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 3 |
3
제1항에 있어서,상기 표준 데이터베이스는 RGB 영상 정보와 깊이 정보 및 세그맨테이션 정보를 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 4 |
4
제1항에 있어서,상기 표준 데이터베이스는 NYU Depth Dataset V2인 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 5 |
5
제1항에 있어서,상기 입력 RGB 영상에 대한 깊이 정보를 추정하는 단계(S60)에서 상기 RGB 데이터는 RGB 영상 정보만을 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 6 |
6
제1항에 있어서,상기 손실(Loss) 및 판별 확률을 계산하는 단계(S30)는 사이클 GAN의 목적 함수를 통해 손실 및 판별 확률 결과값의 수치를 계산하는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 7 |
7
제6항에 있어서,상기 목적 함수는 사이클 GAN(Generative Adversarial Network)의 적대적인 손실 함수(Adversarial Loss Function)와 사이클 일관성 손실 함수(Cycle-Consistency Loss Function)로 구성되는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 8 |
8
제1항에 있어서,상기 (S10) 단계 내지 (S40) 단계를 반복 수행하는 단계(S50)에서 손실(Loss)은 0에 수렴하고, 판별자의 판별 확률 값은 50%에 수렴하도록 학습을 조정하는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 9 |
9
제1항에 있어서,상기 손실(Loss) 및 판별 확률을 계산하는 단계(S30) 이후에,동일한 입력 RGB 영상 X에 대하여 서로 다른 출력값을 갖지만 후에 이를 다시 RGB 영상 로 복원하였을 때 원본 RGB 영상 X와 복원된 RGB 영상 를 비교하여 원본 RGB 영상 X의 형상을 유지하면서 깊이 정보와 세그맨테이션 영상을 생성할 수 있도록 유도하는 사이클 일관성 손실(Cycle-Consistency Loss) 단계를 더 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 10 |
10
제9항에 있어서,상기 사이클 일관성 손실(Cycle-Consistency Loss) 단계는,상기 생성자와 판별자의 미니맥스(Minimax) 결과를 반영(Back-propagation)하여 학습을 진행하기 위해 상기 (S10) 단계 내지 (S30) 단계를 통해 생성된 생성자(Generator) 와, 생성자(Generator) 을 피드백하여 깊이 정보와 세그맨테이션 영상 정보를 추정하는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 방법
|
| 11 |
11
단일 영상만을 사용하여 영상의 깊이 정보를 추정하는 깊이 추정 시스템에 있어서,표준 데이터베이스의 RGB 영상을 입력받고, 생성자(Generator) 를 이용하여 깊이 정보를 생성하며, 생성자(Generator) 을 이용하여 세그맨테이션 영상 정보를 생성하고, 생성된 깊이 정보와 세그맨테이션 영상 정보를 이용하여 RGB 영상을 복원하며, 사이클 GAN의 목적 함수를 통해 학습을 수행하는 영상정보 학습부;상기 영상정보 학습부에서 생성된 깊이 정보와 세그맨테이션 영상 정보 및 복원된 RGB 영상을 표준 데이터베이스와 각각 판별하여 비교하고, 각각에 대한 손실(Loss) 및 판별 확률을 계산하는 연산부;상기 연산부에서 계산된 결과값을 토대로 각각의 손실 및 판별자(Discriminator)의 판별 확률 값이 미리 설정된 기준 수렴값을 만족하는지 판단하는 판단부;RGB 영상을 입력받는 영상 입력부; 및상기 영상정보 학습부에서 학습이 완료된 상기 생성자(Generator) 와, 생성자(Generator) 를 이용하여 영상 입력부에서 입력받은 RGB 영상에 대한 깊이 정보를 추정하는 영상정보 추정부를 포함하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 시스템
|
| 12 |
12
제11항에 있어서,상기 영상정보 학습부는 RGB 영상 정보에서 세그맨테이션 정보로 변환하기 위하여 생성자(Generator) 에 의해 입력 RGB 영상 X에 대한 세그맨테이션 정보를 획득하여 해당 정보를 깊이 정보 추정에 활용하고,상기 생성자(Generator) 에 의해 입력 RGB 영상 X에 대한 깊이 정보를 획득하여 해당 정보를 세그맨테이션 정보 추정에 활용하는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 시스템
|
| 13 |
13
제11항에 있어서,상기 판단부는 판단 결과를 토대로 손실 및 판별 확률 값이 미리 설정된 기준 수렴값을 만족하지 않는 경우 각각의 손실 및 판별자의 판별 확률 값이 미리 설정된 기준 수렴값에 수렴되도록 학습을 조정하고, 상기 영상정보 학습부에서 재학습이 수행되도록 피드백하는 것을 특징으로 하는 사이클 GAN과 세그맨테이션을 사용한 깊이 추정 시스템
|
