| 1 |
1
서로 다른 이종의 센서를 이용하여 획득된 제1 및 제2 이미지를 인가받아 학습되는 방식에 따라 특징을 추출하여 제1 및 제2 특징맵을 획득하고, 기지정된 방식으로 풀링하여 제1 및 제2 표현자를 획득하는 특징 풀링부; 학습 시에 구비되어, 상기 제1 및 제2 특징맵을 인가받아 서로 대응하는 픽셀을 추정하고, 추정된 대응 픽셀의 위치를 기반으로 상호 와핑을 수행하여, 상기 제2 특징맵이 상기 제1 특징맵에 대응하도록 와핑된 제1 와핑 특징맵과 상기 제1 특징맵이 상기 제2 특징맵에 대응하도록 와핑된 제2 와핑 특징맵 획득하며, 상기 제1 및 제2 와핑 특징맵을 풀링하여 제1 및 제2 와핑 표현자를 획득하는 교차 모달 정렬부; 학습되는 방식에 따라 상기 제1 및 제2 표현자와 상기 제1 및 제2 와핑 표현자 각각이 기지정된 다수의 클래스 각각에 대응하는 확률을 나타내는 제1 및 제2 스코어맵과 제1 및 제2 와핑 스코어맵을 획득하고, 획득된 제1 및 제2 스코어맵에서 가장 높은 확률의 클래스의 식별자를 획득하는 재식별부; 및 학습 시에 구비되어, 상기 제1 특징맵과 상기 제1 와핑 특징맵 사이의 차이와 상기 제2 특징맵과 상기 제2 와핑 특징맵 사이의 차이를 동일한 식별자인 경우의 포지티브와 서로 다른 식별자인 경우의 네거티브로 구분하여 밀집 삼중 손실을 계산하는 손실 계산부를 포함하는 사람 재식별 장치
|
| 2 |
2
제1항에 있어서, 상기 교차 모달 정렬부는 기지정된 방식에 따라 상기 제1 및 제2 특징맵 사이의 픽셀간 유사도를 계산하여 유사도맵을 획득하는 유사도 측정부; 상기 유사도 맵을 기반으로 상기 제1 및 제2 특징맵의 각 픽셀별 매칭 확률을 계산하여 매칭 확률맵을 획득하는 매칭 확률 추정부; 상기 매칭 확률맵을 이용하여 상기 제1 및 제2 특징맵 각각의 픽셀들이 상대 특징맵의 각 픽셀에 매칭될 확률을 가중 집계하여 상대 특징맵으로 와핑함으로써 상기 제1 및 제2 와핑 특징맵을 획득하는 소프트 와핑부; 및 상기 제1 및 제2 와핑 특징맵을 기지정된 방식으로 풀링하여 제1 및 제2 와핑 표현자를 획득하는 와핑 풀링부를 포함하는 사람 재식별 장치
|
| 3 |
3
제2항에 있어서, 상기 교차 모달 정렬부는 상기 제1 및 제2 특징맵의 각 위치별 픽셀의 크기를 정규화하여 제1 및 제2 마스크를 획득하는 마스크 제공부를 더 포함하는 사람 재식별 장치
|
| 4 |
4
제3항에 있어서, 상기 소프트 와핑부는 상기 제1 및 제2 마스크를 인가받아 상기 제1 및 제2 특징맵 각각의 픽셀들이 상대 특징맵의 각 픽셀에 매칭될 확률을 가중 집계하고, 가중 집계된 와핑 픽셀값에 마스크의 픽셀값을 추가로 가중하여 와핑하는 사람 재식별 장치
|
| 5 |
5
제4항에 있어서, 상기 마스크 제공부는 상기 제1 특징맵(fRGB)으로부터 상기 제1 마스크(MRGB)를 수학식 (여기서 ∥·∥2는 L2 놈 함수이고, f는 최대-최소 정규화 함수이다
|
| 6 |
6
제4항에 있어서, 상기 손실 계산부는 상기 제1 및 제2 이미지 모두에서 모두 확인 가능한 사람 영역을 강조하는 제1 및 제2 공통 주의맵을 획득하고, 상기 제1 공통 주의맵에서 앵커인 상기 제1 특징맵의 식별자와 동일한 식별자로 추정되는 제1 와핑 특징맵인 포지티브 및 서로 다른 식별자로 추정되는 제1 와핑 특징맵인 네거티브 각각의 사이의 차이와 상기 제2 공통 주의맵에서 앵커인 상기 제2 특징맵의 식별자와 동일한 식별자로 추정되는 포지티브 및 서로 다른 식별자로 추정되는 제2 와핑 특징맵인 네거티브 각각의 사이의 차이를 누적하여 상기 밀집 삼중 손실을 계산하는 사람 재식별 장치
|
| 7 |
7
제6항에 있어서, 상기 손실 계산부는 상기 제1 및 제2 공통 주의맵(Ai, i ∈ {RGB, IR})을 기반으로 상기 밀집 삼중 손실(LDT)을 수학식 (여기서 α는 미리 정의된 마진을 나타내고, di+(p)와 di-(p)는 각각 로 계산되는 앵커(fia)와 포지티브(fip) 사이의 오차 및 앵커(fia)와 네거티브(fin) 각각 사이의 오차를 나타낸다
|
| 8 |
8
제7항에 있어서, 상기 손실 계산부는 상기 제1 및 제2 스코어맵 각각과 학습 시에 상기 제1 및 제2 이미지에 레이블되어 인가되는 식별자 사이의 차이에 따른 식별 손실과 상기 제1 및 제2 스코어맵과 상기 제1 및 제2 와핑 스코어맵 사이의 차이에 따른 일관성 손실을 더 계산하고, 상기 식별 손실과 상기 일관성 손실 및 상기 밀집 삼중 손실을 가중합하여 계산되는 총 손실을 역전파하여 학습을 수행하는 사람 재식별 장치
|
| 9 |
9
제8항에 있어서, 상기 손실 계산부는 상기 제1 및 제2 스코어맵과 상기 제1 및 제2 이미지에 레이블되어 인가되는 식별자 사이의 음의 크로스 엔트로피를 계산하여 상기 식별 손실을 획득하고, 상기 제1 및 제2 스코어맵 각각과 상기 제1 및 제2 와핑 스코어맵 중 대응하는 와핑 스코어맵 사이의 음의 크로스 엔트로피를 계산하여 상기 일관성 손실을 계산하는 사람 재식별 장치
|
| 10 |
10
제1항에 있어서, 상기 제1 이미지는 가시 카메라에서 획득된 RGB 이미지이고 상기 제2 이미지는 IR 카메라에서 획득된 IR 이미지인 사람 재식별 장치
|
| 11 |
11
학습 단계; 및 인공 신경망을 이용하여, 서로 다른 이종의 센서를 이용하여 획득된 이미지들을 인가받아 각 이미지에 포함된 사람에 대한 식별자를 획득하는 사람 재식별 단계를 포함하고, 상기 학습 단계는 학습 데이터로서 서로 다른 이종의 센서를 이용하여 획득되고 식별자가 미리 레이블된 제1 및 제2 이미지를 인가받아 학습되는 방식에 따라 특징을 추출하여 제1 및 제2 특징맵을 획득하고, 기지정된 방식으로 풀링하여 제1 및 제2 표현자를 획득하는 단계; 상기 제1 및 제2 특징맵을 인가받아 서로 대응하는 픽셀을 추정하고, 추정된 대응 픽셀의 위치를 기반으로 상호 와핑을 수행하여, 상기 제2 특징맵이 상기 제1 특징맵에 대응하도록 와핑된 제1 와핑 특징맵과 상기 제1 특징맵이 상기 제2 특징맵에 대응하도록 와핑된 제2 와핑 특징맵 획득하며, 상기 제1 및 제2 와핑 특징맵을 풀링하여 제1 및 제2 와핑 표현자를 획득하는 단계; 상기 제1 및 제2 표현자와 상기 제1 및 제2 와핑 표현자 각각이 기지정된 다수의 클래스 각각에 대응하는 확률을 나타내는 제1 및 제2 스코어맵과 제1 및 제2 와핑 스코어맵을 획득하고, 획득된 제1 및 제2 스코어맵에서 가장 높은 확률의 클래스의 식별자를 획득하는 단계; 및 상기 제1 특징맵과 상기 제1 와핑 특징맵 사이의 차이와 상기 제2 특징맵과 상기 제2 와핑 특징맵 사이의 차이를 동일한 식별자인 경우의 포지티브와 서로 다른 식별자인 경우의 네거티브로 구분하여 손실을 계산하는 단계를 포함하는 사람 재식별 방법
|
| 12 |
12
제11항에 있어서, 상기 제1 및 제2 와핑 표현자를 획득하는 단계는 기지정된 방식에 따라 상기 제1 및 제2 특징맵 사이의 픽셀간 유사도를 계산하여 유사도맵을 획득하는 단계; 상기 유사도 맵을 기반으로 상기 제1 및 제2 특징맵의 각 픽셀별 매칭 확률을 계산하여 매칭 확률맵을 획득하는 단계; 상기 매칭 확률맵을 이용하여 상기 제1 및 제2 특징맵 각각의 픽셀들이 상대 특징맵의 각 픽셀에 매칭될 확률을 가중 집계하여 상대 특징맵으로 와핑함으로써 상기 제1 및 제2 와핑 특징맵을 획득하는 단계; 및 제1 및 제2 와핑 표현자를 획득하기 위해 기지정된 방식으로 상기 제1 및 제2 와핑 특징맵을 풀링하는 단계를 포함하는 사람 재식별 방법
|
| 13 |
13
제12항에 있어서, 상기 제1 및 제2 와핑 표현자를 획득하는 단계는상기 제1 및 제2 특징맵의 각 위치별 픽셀의 크기를 정규화하여 제1 및 제2 마스크를 획득하는 단계를 더 포함하는 사람 재식별 방법
|
| 14 |
14
제13항에 있어서, 상기 제1 및 제2 와핑 특징맵을 획득하는 단계는 상기 제1 및 제2 마스크를 인가받아 상기 제1 및 제2 특징맵 각각의 픽셀들이 상대 특징맵의 각 픽셀에 매칭될 확률을 가중 집계하는 단계; 및 가중 집계된 와핑 픽셀값에 마스크의 픽셀값을 추가로 가중하여 와핑하는 단계를 포함하는 사람 재식별 방법
|
| 15 |
15
제14항에 있어서, 상기 마스크를 획득하는 단계는 상기 제1 특징맵(fRGB)으로부터 상기 제1 마스크(MRGB)를 수학식 (여기서 ∥·∥2는 L2 놈 함수이고, f는 최대-최소 정규화 함수이다
|
| 16 |
16
제14항에 있어서, 상기 손실을 계산하는 단계는 상기 제1 및 제2 이미지 모두에서 모두 확인 가능한 사람 영역을 강조하는 제1 및 제2 공통 주의맵을 획득하는 단계; 및 상기 제1 공통 주의맵에서 앵커인 상기 제1 특징맵의 식별자와 동일한 식별자로 추정되는 제1 와핑 특징맵인 포지티브 및 서로 다른 식별자로 추정되는 제1 와핑 특징맵인 네거티브 각각의 사이의 차이와 상기 제2 공통 주의맵에서 앵커인 상기 제2 특징맵의 식별자와 동일한 식별자로 추정되는 포지티브 및 서로 다른 식별자로 추정되는 제2 와핑 특징맵인 네거티브 각각의 사이의 차이를 누적하여 계산되는 밀집 삼중 손실을 획득하는 단계를 포함하는 사람 재식별 방법
|
| 17 |
17
제16항에 있어서, 상기 밀집 삼중 손실을 획득하는 단계는 상기 제1 및 제2 공통 주의맵(Ai, i ∈ {RGB, IR})을 기반으로 상기 밀집 삼중 손실(LDT)을 수학식 (여기서 α는 미리 정의된 마진을 나타내고, di+(p)와 di-(p)는 각각 로 계산되는 앵커(fia)와 포지티브(fip) 사이의 오차 및 앵커(fia)와 네거티브(fin) 각각 사이의 오차를 나타낸다
|
| 18 |
18
제17항에 있어서, 상기 손실을 계산하는 단계는 상기 제1 및 제2 스코어맵 각각과 학습 시에 상기 제1 및 제2 이미지에 레이블되어 인가되는 식별자 사이의 차이에 따른 식별 손실을 계산하는 단계; 상기 제1 및 제2 스코어맵과 상기 제1 및 제2 와핑 스코어맵 사이의 차이에 따른 일관성 손실을 계산하는 단계; 및 상기 식별 손실과 상기 일관성 손실 및 상기 밀집 삼중 손실을 가중합하여 계산되는 총 손실을 역전파하는 단계를 더 포함하는 사람 재식별 방법
|
| 19 |
19
제18항에 있어서, 상기 식별 손실을 계산하는 단계는 상기 제1 및 제2 스코어맵과 상기 제1 및 제2 이미지에 레이블되어 인가되는 식별자 사이의 음의 크로스 엔트로피를 계산하여 상기 식별 손실을 획득하고, 상기 일관성 손실을 계산하는 단계는 상기 제1 및 제2 스코어맵 각각과 상기 제1 및 제2 와핑 스코어맵 중 대응하는 와핑 스코어맵 사이의 음의 크로스 엔트로피를 계산하여 상기 일관성 손실을 계산하는 사람 재식별 방법
|
| 20 |
20
제11항에 있어서, 상기 사람 재식별 단계는 상기 학습 단계에서 미리 학습된 방식에 따라 인가되는 이종 이미지 각각의 특징을 추출하여 특징맵을 획득하는 단계; 이종 이미지 각각으로부터 획득된 특징맵을 기지정된 방식으로 풀링하여 대응하는 표현자를 획득하는 단계; 및 미리 학습된 방식에 따라 획득된 표현자 각각에 대응하는 스코어맵을 획득하고, 획득된 스코어맵을 기반으로 인가된 이종 이미지 각각에 포함된 사람에 대한 식별자를 획득하는 단계를 포함하는 사람 재식별 방법
|
