| 1 |
1
영상 데이터에서 카메라 포즈를 예측하는 영상 측위를 위한 방법으로서,측위 장치가, 상기 영상 데이터를 미리 학습된 가중치를 기반으로 처리하는 분류 네트워크로부터 상기 영상 데이터가 측위를 위한 공간을 구성하는 셀들 중에서 어느 셀에 속하는지를 나타내는 예측 결과를 획득하는 단계;상기 측위 장치가, 상기 예측 결과를 기반으로 선택되는 셀 인덱스를 이용하여, 상기 측위를 위한 공간에 대한 지도 정보 - 상기 지도 정보는 셀 인덱스별로 셀을 구성하는 좌표의 최소값과 최대값 그리고 셀 크기를 포함함 - 를 획득하는 단계; 및상기 측위 장치가, 상기 지도 정보를 기반으로 상기 영상 데이터에 대한 위치를 계산하여 대응하는 카메라 포즈를 출력하는 단계를 포함하는 방법
|
| 2 |
2
제1항에 있어서,상기 카메라 포즈를 출력하는 단계는 상기 측위를 위한 공간에서 상기 선택된 셀 인덱스의 주변 이웃 셀들의 가중치들의 합을 기반으로 상기 영상 데이터에 대한 위치를 계산하는, 방법
|
| 3 |
3
제1항에 있어서,상기 측위를 위한 공간을 구성하는 셀은 하나의 클래스에 매핑되며,상기 예측 결과는 클래스별 신뢰도를 포함하고,상기 카메라 포즈를 출력하는 단계는 상기 카메라 포즈와 이에 대응하는 신뢰도를 출력하는, 방법
|
| 4 |
4
제3항에 있어서,상기 지도 정보를 획득하는 단계는 상기 클래스별 신뢰도 중에서 가장 큰 값의 신뢰도를 가지는 클래스를 선택하고, 상기 선택된 클래스에 매핑된 셀 인덱스를 획득하는 단계; 및상기 획득된 셀 인덱스를 이용하여 상기 측위를 위한 공간에 대한 지도 정보를 획득하는 단계를 포함하는, 방법
|
| 5 |
5
제1항에 있어서,상기 분류 네트워크는 하드 분류 기반 학습을 통해 학습되고,상기 하드 분류 기반 학습은, 훈련 데이터를 카메라 포즈 분류를 적용하기 위한 인덱스로 변환하고, 각 인덱스에 대해 학습을 위한 하드 레이블링을 수행하는 것을 통해 수행되며, 상기 하드 레이블링은 카메라 포즈에 대응되는 하나의 인덱스의 셀만 1로 하고, 나머지는 0이 되도록 하는, 방법
|
| 6 |
6
제1항에 있어서,상기 측위를 위한 공간을 구성하는 셀은 하나의 클래스에 매핑되며,상기 예측 결과는 클래스별 스코어를 포함하고, 상기 스코어는 손실 함수를 기반으로 계산된 평가 점수이며,상기 지도 정보를 획득하는 단계는 상기 클래스별 스코어 중에서 가장 큰 값의 스코어를 가지는 클래스를 선택하고, 상기 선택된 클래스에 매핑된 셀 인덱스를 획득하는 단계; 및상기 획득된 셀 인덱스를 이용하여 상기 측위를 위한 공간에 대한 지도 정보를 획득하는 단계를 포함하는, 방법
|
| 7 |
7
제1항에 있어서,상기 분류 네트워크는 소프트 분류 기반 학습을 통해 학습되고,상기 소프트 분류 기반 학습은, 훈련 데이터를 카메라 포즈 분류를 적용하기 위한 인덱스로 변환하고, 각 인덱스에 대해 학습을 위한 소프트 레이블링을 수행하는 것을 통해 수행되며, 상기 소프트 레이블링은 선형 보간법을 기반으로 하는, 방법
|
| 8 |
8
제7항에 있어서,상기 소프트 레이블링은 절대 위치를 기준으로 상기 절대 위치에 인접한 이웃 셀과의 거리와 면적을 기반으로 소프트 레이블을 결정하는, 방법
|
| 9 |
9
영상 데이터에서 카메라 포즈를 예측하는 영상 측위를 위한 장치로서,영상 측위를 위한 영상 데이터를 입력받도록 구성된 인터페이스 장치; 측위를 위한 공간을 구성하는 셀들에 대한 지도 정보 - 상기 지도 정보는 셀 인덱스별로 셀을 구성하는 좌표의 최소값과 최대값 그리고 셀 크기를 포함함 - 가 저장된 메모리; 및상기 영상 데이터를 기반으로 상기 카메라 포즈를 예측하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 인터페이스 장치를 통해, 하드 분류 기반으로 학습된 분류 네트워크로부터 상기 영상 데이터가 측위를 위한 공간을 구성하는 셀들 중에서 어느 셀에 속하는지를 나타내는 예측 결과를 획득하는 동작;상기 예측 결과를 기반으로 선택되는 셀 인덱스를 이용하여, 상기 측위를 위한 공간에 대한 지도 정보를 획득하는 동작; 및상기 지도 정보를 기반으로 상기 영상 데이터에 대한 위치를 계산하여 대응하는 카메라 포즈를 출력하는 동작을 수행하도록 구성된, 장치
|
| 10 |
10
제9항에 있어서,상기 프로세서는 상기 카메라 포즈를 출력하는 동작 수행시, 상기 측위를 위한 공간에서 상기 선택된 셀 인덱스의 주변 이웃 셀들의 가중치들의 합을 기반으로 상기 영상 데이터에 대한 위치를 계산하도록 구성되는, 장치
|
| 11 |
11
제9항에 있어서,상기 측위를 위한 공간을 구성하는 셀은 하나의 클래스에 매핑되며,상기 예측 결과는 클래스별 신뢰도를 포함하고,상기 프로세서는 상기 카메라 포즈를 출력하는 동작 수행시, 상기 카메라 포즈와 이에 대응하는 신뢰도를 출력하도록 구성되는, 장치
|
| 12 |
12
제11항에 있어서,상기 프로세서는 상기 지도 정보를 획득하는 동작 수행시, 상기 클래스별 신뢰도 중에서 가장 큰 값의 신뢰도를 가지는 클래스를 선택하고, 상기 선택된 클래스에 매핑된 셀 인덱스를 획득하는 동작; 및상기 획득된 셀 인덱스를 이용하여 상기 측위를 위한 공간에 대한 지도 정보를 획득하는 동작을 수행하도록 구성되는, 장치
|
| 13 |
13
제9항에 있어서,상기 분류 네트워크는 하드 분류 기반 학습을 통해 학습되고,상기 하드 분류 기반 학습은, 훈련 데이터를 카메라 포즈 분류를 적용하기 위한 인덱스로 변환하고, 각 인덱스에 대해 학습을 위한 하드 레이블링을 수행하는 것을 통해 수행되며, 상기 하드 레이블링은 카메라 포즈에 대응되는 하나의 인덱스의 셀만 1로 하고, 나머지는 0이 되도록 하는, 장치
|
| 14 |
14
제9항에 있어서,상기 측위를 위한 공간을 구성하는 셀은 하나의 클래스에 매핑되며,상기 예측 결과는 클래스별 스코어를 포함하고, 상기 스코어는 손실 함수를 기반으로 계산된 평가 점수이며,상기 프로세서는 상기 지도 정보를 획득하는 동작 수행시, 상기 클래스별 스코어 중에서 가장 큰 값의 스코어를 가지는 클래스를 선택하고, 상기 선택된 클래스에 매핑된 셀 인덱스를 획득하는 동작; 및상기 획득된 셀 인덱스를 이용하여 상기 측위를 위한 공간에 대한 지도 정보를 획득하는 동작을 수행하도록 구성되는, 장치
|
| 15 |
15
제9항에 있어서,상기 분류 네트워크는 소프트 분류 기반 학습을 통해 학습되고,상기 소프트 분류 기반 학습은, 훈련 데이터를 카메라 포즈 분류를 적용하기 위한 인덱스로 변환하고, 각 인덱스에 대해 학습을 위한 소프트 레이블링을 수행하는 것을 통해 수행되며, 상기 소프트 레이블링은 선형 보간법을 기반으로 하는, 장치
|
| 16 |
16
제9항에 있어서,상기 프로세서는 하드 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈와 신뢰도를 포함하는 하드 분류 예측 결과를 출력하도록 구성된 하드 분류 레이어부; 소프트 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 소프트 분류 예측 결과를 출력하도록 구성된 소프트 분류 레이어부; 및상기 하드 분류 예측 결과와 상기 소프트 분류 예측 결과를 융합하여 상기 영상 데이터에 대한 최종 카메라 포즈를 출력하도록 구성된 융합 처리부를 포함하는, 장치
|
| 17 |
17
제9항에 있어서,상기 프로세서는 하드 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈와 신뢰도를 포함하는 하드 분류 예측 결과를 출력하도록 구성된 하드 분류 레이어부; 회귀 추정을 통해 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 회귀 추정 결과를 출력하도록 구성된 회귀 레이어부; 및상기 하드 분류 예측 결과와 상기 회귀 추정 결과를 융합하여 상기 영상 데이터에 대한 최종 카메라 포즈를 출력하도록 구성된 융합 처리부를 포함하도록 구성되는, 장치
|
| 18 |
18
제9항에 있어서,상기 프로세서는 소프트 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 소프트 분류 예측 결과를 출력하도록 구성된 소프트 분류 레이어부; 회귀 추정을 통해 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 회귀 추정 결과를 출력하도록 구성된 회귀 레이어부; 및상기 소프트 분류 예측 결과와 상기 회귀 추정 결과를 융합하여 상기 영상 데이터에 대한 최종 카메라 포즈를 출력하도록 구성된 융합 처리부를 포함하도록 구성되는, 장치
|
| 19 |
19
제9항에 있어서,상기 프로세서는 하드 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈와 신뢰도를 포함하는 하드 분류 예측 결과를 출력하도록 구성된 하드 분류 레이어부; 소프트 분류 기반 학습을 통해 학습된 분류 네트워크를 이용하여 상기 예측 결과를 획득하는 동작, 상기 지도 정보를 획득하는 동작 및 상기 카메라 포즈를 출력하는 동작을 수행하여, 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 소프트 분류 예측 결과를 출력하도록 구성된 소프트 분류 레이어부; 회귀 추정을 통해 상기 영상 데이터에 대해 예측된 카메라 포즈를 포함하는 회귀 추정 결과를 출력하도록 구성된 회귀 레이어부; 및상기 하드 분류 예측 결과와 상기 소프트 분류 예측 결과 그리고 상기 회귀 추정 결과를 융합하여 상기 영상 데이터에 대한 최종 카메라 포즈를 출력하도록 구성된 융합 처리부를 포함하도록 구성되는, 장치
|
