| 1 |
1
컴퓨터에 의해 각 단계가 수행되는 자기-지도 키포인트 검출 방법으로서,(1) 키포인트 기술자(descriptor) 및 호포그래피를 이용한 자기-키포인트 라벨링(self-keypoint labelling)에 의해 학습 이미지에 의사 실측(pseudo-ground-truth) 키포인트를 생성하여 학습 데이터를 구성하는 단계;(2) 다층 랜덤 포레스트(multi-layer random forest, MRF) 회귀 분석기(regressor) 기반으로 상기 학습 데이터를 학습하여, 이미지로부터 반복 가능한 키포인트를 추출하는 MRF 모듈(200)을 생성하는 단계;(3) 단층 랜덤 포레스트(single-layer RF, SRF) 분류기(classifier) 기반으로, 상기 MRF 모듈(200)에서 추출한 키포인트의 신뢰도를 추정하는 SRF 모듈(300)을 생성하는 단계; 및(4) 상기 생성한 MRF 모듈(200)과 SRF 모듈(300)을 이용해 입력 이미지로부터 최종 키포인트를 선정하되, NMS(Non-maximum-suppression)를 사용해 상기 MRF 모듈(200)에서 추출한 키포인트 중에서 신뢰도가 가장 높은 키포인트를 최종 키포인트로 선정하는 단계를 포함하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 2 |
2
제1항에 있어서, 상기 단계 (1)은,(1-1) 레이블이 없는 학습 이미지에 호모그래피를 적용해 뒤틀린 이미지를 생성하는 단계;(1-2) 상기 학습 이미지 및 뒤틀린 이미지에서 키포인트 및 키포인트 기술자를 생성하는 단계;(1-3) 상기 생성한 키포인트 및 키포인트 기술자를 이용해, 상기 뒤틀린 이미지를 상기 학습 이미지에 매핑하는 단계;(1-4) 상기 학습 이미지와 뒤틀린 이미지 사이에서 유사한 키포인트를 찾아, 키포인트-쌍 대응을 생성하는 단계; 및(1-5) 상기 학습 이미지에 서로 다른 호모그래피를 적용해 상기 단계 (1-1) 내지 단계 (1-4)를 수행하며, brute force matcher를 통해 자기-키포인트 라벨링을 하여 상기 의사 실측 키포인트를 생성하는 단계를 포함하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 3 |
3
제1항에 있어서, 상기 MRF 회귀 분석기는,coarse-to-fine 파이프라인 구조로 순차적 회귀를 적용하도록 복수의 레이어로 구성되며, 레이어 당 RF 노드 수는 상기 단계 (2)의 학습 과정에서 자동으로 결정되되, 2개 이상 8개 이하인 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 4 |
4
제1항에 있어서, 상기 단계 (2)에서는,N-겹 교차 검증을 이용해 상기 MRF 모듈(200)을 생성하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 5 |
5
제4항에 있어서, 상기 단계 (2)에서는,(2-1) 전체 학습 데이터에서 N-1 폴드를 학습 세트로 선택하고, 선택에서 제외된 폴드는 검증 세트로 구성하는 단계;(2-2) 상기 단계 (2-1)에서 선택한 폴드의 학습 이미지를 미리 정해진 격자로 분할하고, 상기 단계 (1)에서 자기-키포인트 라벨링에 의해 생성된 의사 실측 키포인트를 상기 학습 이미지에 매핑하는 단계;(2-3) 상기 단계 (2-2)의 매핑에 의해 상기 의사 실측 키포인트를 포함하는 격자의 중심점(초기 키포인트)을 기초로 상기 MRF 회귀 분석기의 제1 레이어를 학습하여 예측 변위를 출력하는 단계;(2-4) 상기 초기 키포인트를 상기 제1 레이어에서 출력된 예측 변위를 반영해 이동시켜 상기 MRF 회귀 분석기의 제2 레이어를 위한 초기 키포인트를 생성하고, 상기 제2 레이어를 학습하여 예측 변위를 출력하는 단계;(2-5) 상기 MRF 회귀 분석기의 L개의 레이어에 대해 상기 단계 (2-4)를 진행하는 단계;(2-6) 상기 단계 (2-1)에서 선택한 N-1개의 폴드의 학습 후에, 상기 검증 세트의 샘플을 이용해 손실을 계산하는 단계;(2-7) 학습된 MRF 회귀 분석기의 구조 및 총 손실을 저장하는 단계;(2-8) 상기 전체 학습 데이터의 모든 폴드가 검증 세트로 사용될 때까지 상기 단계 (2-1) 내지 단계 (2-7)을 반복 수행하는 단계; 및(2-9) 상기 단계 (2-8)에서 저장된 MRF 회귀 분석기의 구조 중에서 총 손실이 가장 작은 구조를 상기 MRF 모듈(200)로 결정하는 단계를 포함하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 6 |
6
제5항에 있어서, 상기 단계 (2-3)에서는,상기 단계 (2-2)의 매핑에 의해 키포인트를 포함하는 격자를 미리 정해진 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 추출한 특징 기술자(descriptors)를 결합해 특징 벡터를 구성하며, 상기 특징 벡터와 상기 초기 키포인트부터 상기 의사 실측 키포인트까지의 변위를 상기 제1 레이어의 입력으로 하여 학습을 수행하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 7 |
7
제1항에 있어서, 상기 단계 (3) 이후에는,상기 MRF 모듈(200) 및 SRF 모듈(300)은 트리로 구성된 규칙을 공유하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 8 |
8
제1항에 있어서, 상기 단계 (4)에서는,상기 입력 이미지를 서로 다른 스케일로 변환한 복수의 스케일 이미지를 상기 MRF 모듈(200) 및 SRF 모듈(300)에 각각 적용하며, NMS를 사용해 대응 창을 이동하면서 신뢰도 점수를 추정하되, 신뢰도 점수가 가장 높으면서 최소 임계값을 초과하는 키포인트를 최종 키포인트로 선정하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 방법
|
| 9 |
9
컴퓨터로 구현되는 자기-지도 키포인트 검출 장치(10)로서,키포인트 기술자(descriptor) 및 호포그래피를 이용한 자기-키포인트 라벨링(self-keypoint labelling)에 의해 학습 이미지에 의사 실측(pseudo-ground-truth) 키포인트를 생성하여 학습 데이터를 구성하는 라벨링 모듈(100);다층 랜덤 포레스트(multi-layer random forest, MRF) 회귀 분석기(regressor) 기반으로 상기 학습 데이터를 학습하여, 이미지로부터 반복 가능한 키포인트를 추출하는 MRF 모듈(200);단층 랜덤 포레스트(single-layer RF, SRF) 분류기(classifier) 기반으로, 상기 MRF 모듈(200)에서 추출한 키포인트의 신뢰도를 추정하는 SRF 모듈(300); 및상기 MRF 모듈(200)과 SRF 모듈(300)을 이용해 입력 이미지로부터 최종 키포인트를 선정하되, NMS(Non-maximum-suppression)를 사용해 상기 MRF 모듈(200)에서 추출한 키포인트 중에서 신뢰도가 가장 높은 키포인트를 최종 키포인트로 선정하는 검출 모듈(400)을 포함하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 10 |
10
제9항에 있어서, 상기 라벨링 모듈(100)은,(1-1) 레이블이 없는 학습 이미지에 호모그래피를 적용해 뒤틀린 이미지를 생성하는 단계;(1-2) 상기 학습 이미지 및 뒤틀린 이미지에서 키포인트 및 키포인트 기술자를 생성하는 단계;(1-3) 상기 생성한 키포인트 및 키포인트 기술자를 이용해, 상기 뒤틀린 이미지를 상기 학습 이미지에 매핑하는 단계;(1-4) 상기 학습 이미지와 뒤틀린 이미지 사이에서 유사한 키포인트를 찾아, 키포인트-쌍 대응을 생성하는 단계; 및(1-5) 상기 학습 이미지에 서로 다른 호모그래피를 적용해 상기 단계 (1-1) 내지 단계 (1-4)를 수행하며, brute force matcher를 통해 자기-키포인트 라벨링을 하여 상기 의사 실측 키포인트를 생성하는 단계를 수행하여,레이블이 없는 학습 이미지에 의사 실측 키포인트를 생성해 학습 데이터를 구성하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 11 |
11
제9항에 있어서, 상기 MRF 회귀 분석기는,coarse-to-fine 파이프라인 구조로 순차적 회귀를 적용하도록 복수의 레이어로 구성되며, 레이어 당 RF 노드 수는 상기 MRF 회귀 분석기의 학습 과정에서 자동으로 결정되되, 2개 이상 8개 이하인 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 12 |
12
제9항에 있어서, 상기 MRF 모듈(200)은,N-겹 교차 검증을 이용해 생성되는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 13 |
13
제12항에 있어서, 상기 MRF 모듈(200)은,(2-1) 전체 학습 데이터에서 N-1 폴드를 학습 세트로 선택하고, 선택에서 제외된 폴드는 검증 세트로 구성하는 단계;(2-2) 상기 단계 (2-1)에서 선택한 폴드의 학습 이미지를 미리 정해진 격자로 분할하고, 상기 라벨링 모듈(100)에서 자기-키포인트 라벨링에 의해 생성된 의사 실측 키포인트를 상기 학습 이미지에 매핑하는 단계;(2-3) 상기 단계 (2-2)의 매핑에 의해 상기 의사 실측 키포인트를 포함하는 격자의 중심점(초기 키포인트)을 기초로 상기 MRF 회귀 분석기의 제1 레이어를 학습하여 예측 변위를 출력하는 단계;(2-4) 상기 초기 키포인트를 상기 제1 레이어에서 출력된 예측 변위를 반영해 이동시켜 상기 MRF 회귀 분석기의 제2 레이어를 위한 초기 키포인트를 생성하고, 상기 제2 레이어를 학습하여 예측 변위를 출력하는 단계;(2-5) 상기 MRF 회귀 분석기의 L개의 레이어에 대해 상기 단계 (2-4)를 진행하는 단계;(2-6) 상기 단계 (2-1)에서 선택한 N-1개의 폴드의 학습 후에, 상기 검증 세트의 샘플을 이용해 손실을 계산하는 단계;(2-7) 학습된 MRF 회귀 분석기의 구조 및 총 손실을 저장하는 단계;(2-8) 상기 전체 학습 데이터의 모든 폴드가 검증 세트로 사용될 때까지 상기 단계 (2-1) 내지 단계 (2-7)을 반복 수행하는 단계; 및(2-9) 상기 단계 (2-8)에서 저장된 MRF 회귀 분석기의 구조 중에서 총 손실이 가장 작은 구조를 상기 MRF 모듈(200)로 결정하는 단계를 통해 생성되는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 14 |
14
제13항에 있어서, 상기 단계 (2-3)에서는,상기 단계 (2-2)의 매핑에 의해 키포인트를 포함하는 격자를 미리 정해진 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 추출한 특징 기술자(descriptors)를 결합해 특징 벡터를 구성하며, 상기 특징 벡터와 상기 초기 키포인트부터 상기 의사 실측 키포인트까지의 변위를 상기 제1 레이어의 입력으로 하여 학습을 수행하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 15 |
15
제9항에 있어서, 상기 MRF 모듈(200) 및 SRF 모듈(300)은,트리로 구성된 규칙을 공유하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
| 16 |
16
제9항에 있어서, 상기 검출 모듈(400)은,상기 입력 이미지를 서로 다른 스케일로 변환한 복수의 스케일 이미지를 상기 MRF 모듈(200) 및 SRF 모듈(300)에 각각 적용하며, NMS를 사용해 대응 창을 이동하면서 신뢰도 점수를 추정하되, 신뢰도 점수가 가장 높으면서 최소 임계값을 초과하는 키포인트를 최종 키포인트로 선정하는 것을 특징으로 하는, 다층 랜덤 포레스트 회귀 분석기 기반의 자기-지도 키포인트 검출 장치(10)
|
