| 1 |
1
동일 구조를 갖고 패턴 인식 방법이 미리 학습되어 동일한 학습 가중치를 갖는 한 쌍의 샴 신경망을 포함하여, 인가된 소스 및 타겟 이미지 쌍(Is, It) 각각에서 특징 맵 쌍(fs, ft)을 획득하는 특징 추출부; 상기 특징 맵 쌍(fs, ft)의 각 픽셀 사이의 상관 점수를 측정하여 상관 맵을 생성하는 상관 맵 생성부; 상기 상관 맵에서 소스 이미지(Is)의 픽셀 위치(p)별 상관 점수가 가장 높은 픽셀 위치인 상관 픽셀 위치를 판별하고, 상기 상관 픽셀 위치를 중심으로 가우시안 분포에 따른 분포 가중치를 반영하여 매칭 확률을 기지정된 방식으로 획득하며, 획득된 매칭 확률에 따라 소스 이미지(Is)의 픽셀 위치(p)에 대응하는 타겟 이미지(It)의 픽셀 위치(q)인 대응점을 판별하는 대응점 판별부; 및 소스 이미지(Is)의 픽셀별 위치(p)와 이에 대응하는 타겟 이미지(It)의 픽셀별 위치(q)의 관계를 이용하여 픽셀별 위치 변화를 나타내는 플로우 필드로 구성된 시멘틱 플로우 맵을 생성하는 시멘틱 플로우 획득부; 를 포함하되,상기 대응점 판별부는 상관 맵의 각 픽셀에서 argmax 함수를 이용하여 소스 이미지(Is)의 픽셀 위치(p)별 상관 점수가 가장 높은 픽셀 위치인 상관 픽셀 위치를 판별하는 상관 픽셀 추출부; 상기 상관 맵의 상기 소스 이미지(Is)의 픽셀 위치(p)에 대응하는 영역에서 상기 상관 픽셀 위치를 중심으로 가우시안 분포에 따른 분포 가중치로 구성된 가우시안 커널(kp)을 적용하는 가우시안 커널부; 가우시안 분포에 따른 분포 가중치가 적용된 상기 상관 맵의 픽셀들에 대해 softmax 함수를 기반으로 각 픽셀별 매칭 확률(mp(q))을 계산하고, 계산된 매칭 확률(mp(q))에 따라 매칭 확률 맵(mp)을 생성하는 매칭 확률 맵 생성부; 및 매칭 확률 맵(mp)에 따라 픽셀 위치(q)별 매칭 확률(mp(q))을 적용하여 대응점(φ(p))을 판별하는 대응점 획득부; 를 포함하는 시멘틱 매칭 장치
|
| 2 |
2
삭제
|
| 3 |
3
제1 항에 있어서, 상기 매칭 확률 맵 생성부는 수학식 (여기서 β는 온도 파라미터이고, np는 상관 맵을 정규화한 정규 상관 맵을 나타낸다)에 따라 매칭 확률(mp(q))을 계산하고, 상기 대응점 획득부는 수학식 에 따라 대응점(φ(p))을 계산하는 시멘틱 매칭 장치
|
| 4 |
4
제1 항에 있어서, 상기 시멘틱 매칭 장치는 학습 과정에서 상기 특징 추출부의 샴 신경망을 학습 시키기 위한 손실 계산부; 를 더 포함하고, 상기 손실 계산부는 상기 소스 및 타겟 이미지 쌍(Is, It) 각각에서 전경과 배경을 구분하여, 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt)를 획득하는 전경 마스크 획득부; 상기 시멘틱 플로우 획득부로부터 소스 이미지(Is)의 픽셀 위치(p)로부터 대응하는 타겟 이미지(It)의 픽셀 위치(q)로의 변화를 나타내는 소스 플로우 필드(Fs)와 타겟 이미지(It)의 픽셀 위치(q)로부터 소스 이미지(Is)의 픽셀 위치(p)로의 위치 변화를 나타내는 타겟 플로우 필드(Ft)를 인가받고, 상기 소스 플로우 필드(Fs)와 상기 타겟 플로우 필드(Ft)를 이용하여 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt)를 각각 상호 워핑함으로써, 추정 소스 마스크()와 추정 타겟 마스크()를 획득하며, 소스 전경 마스크(Ms)와 추정 소스 마스크()와 사이의 차 및 타겟 전경 마스크(Mt)와 추정 타겟 마스크() 사이의 차를 누적하여 마스크 일관성 손실을 측정하는 마스크 손실 측정부; 상기 소스 및 타겟 이미지 쌍(Is, It)의 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt) 각각에 대응하는 영역 내의 각 픽셀에 대한 소스 플로우 필드(Fs(p)))와 타겟 플로우 필드(Ft(q))) 사이의 차이를 누적하여 플로우 일관성 손실을 측정하는 플로우 일관성 손실 측정부; 상기 소스 및 타겟 이미지 쌍(Is, It)의 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt) 각각에 대응하는 영역 내에서 소스 플로우 필드(Fs(p))와 타겟 플로우 필드(Ft(q)) 각각에 대한 평활도 손실을 측정하는 평활화 손실 측정부; 및 상기 마스크 일관성 손실, 플로우 일관성 손실 및 평활화 손실 각각에 기지정된 손실 가중치를 적용하고 합하여 총 손실을 계산하고, 계산된 총 손실을 상기 특징 추출부의 샴 신경망으로 역전파하는 손실 역전파부; 를 포함하는 시멘틱 매칭 장치
|
| 5 |
5
제4 항에 있어서, 상기 마스크 손실 측정부는 마스크 일관성 손실(Lmask)을 수학식 (여기서 추정 소스 마스크()는 픽셀 위치(p)에 대해 W(Mt;Fs)(p) = Mt(p + Fs(p)) 연산을 수행하는 워핑 연산자(W)에 따라 로 획득되고, 추정 타겟 마스크() 또한 대응하는 방식으로 획득됨)에 따라 계산하고, 상기 플로우 일관성 손실 측정부는 플로우 일관성 손실(Lflow)을 수학식 (여기서 는 각각 타겟 플로우 필드(Ft(q))를 이용하여 워핑 연산자(W)에 따라 소스 플로우 필드(Fs(p))를 워핑하여 획득되고, 는 소스 플로우 필드(Fs(p))를 이용하여 워핑 연산자(W)에 따라 타겟 플로우 필드(Ft(q))를 워핑하여 획득됨)에 따라 계산하며, 상기 평활화 손실 측정부는 평활화 손실(Lsmooth)을 수학식 (여기서 ∥·∥1는 L1 norm 함수를 나타내고, ∇는 그래디언트 연산자)에 따라 계산하는 시멘틱 매칭 장치
|
| 6 |
6
동일 구조를 갖고 패턴 인식 방법이 미리 학습되어 동일한 학습 가중치를 갖는 한 쌍의 샴 신경망을 이용하여, 인가된 소스 및 타겟 이미지 쌍(Is, It) 각각에서 특징 맵 쌍(fs, ft)을 획득하는 단계; 상기 특징 맵 쌍(fs, ft)의 각 픽셀 사이의 상관 점수를 측정하여 상관 맵을 생성하는 단계; 상기 상관 맵에서 소스 이미지(Is)의 픽셀 위치(p)별 상관 점수가 가장 높은 픽셀 위치인 상관 픽셀 위치를 판별하고, 상기 상관 픽셀 위치를 중심으로 가우시안 분포에 따른 분포 가중치를 반영하여 매칭 확률을 기지정된 방식으로 획득하며, 획득된 매칭 확률에 따라 소스 이미지(Is)의 픽셀 위치(p)에 대응하는 타겟 이미지(It)의 픽셀 위치(q)인 대응점을 판별하는 단계; 및 소스 이미지(Is)의 픽셀별 위치(p)와 이에 대응하는 타겟 이미지(It)의 픽셀별 위치(q)의 관계를 이용하여 픽셀별 위치 변화를 나타내는 플로우 필드로 구성된 시멘틱 플로우 맵을 생성하는 단계; 를 포함하되,상기 대응점을 판별하는 단계는상관 맵의 각 픽셀에서 argmax 함수를 이용하여 소스 이미지(Is)의 픽셀 위치(p)별 상관 점수가 가장 높은 픽셀 위치인 상관 픽셀 위치를 판별하는 단계; 상기 상관 맵의 상기 소스 이미지(Is)의 픽셀 위치(p)에 대응하는 영역에서 상기 상관 픽셀 위치를 중심으로 가우시안 분포에 따른 분포 가중치로 구성된 가우시안 커널(kp)을 적용하는 단계; 가우시안 분포에 따른 분포 가중치가 적용된 상기 상관 맵의 픽셀들에 대해 softmax 함수를 기반으로 각 픽셀별 매칭 확률(mp(q))을 계산하고, 계산된 매칭 확률(mp(q))에 따라 매칭 확률 맵(mp)을 생성하는 단계; 및 매칭 확률 맵(mp)에 따라 픽셀 위치(q)별 매칭 확률(mp(q))을 적용하여 대응점(φ(p))을 획득하는 단계; 를 포함하는 시멘틱 매칭 방법
|
| 7 |
7
삭제
|
| 8 |
8
제6 항에 있어서, 상기 매칭 확률 맵을 생성하는 단계는 수학식 (여기서 β는 온도 파라미터이고, np는 상관 맵을 정규화한 정규 상관 맵을 나타낸다)에 따라 매칭 확률(mp(q))을 계산하고, 상기 대응점을 획득하는 단계는 수학식 에 따라 대응점(φ(p))을 계산하는 시멘틱 매칭 방법
|
| 9 |
9
제6 항에 있어서, 상기 시멘틱 매칭 방법은 학습 과정에서 상기 샴 신경망을 학습 시키기 위한 손실을 계산하는 단계; 를 더 포함하고, 상기 손실을 계산하는 단계는 상기 소스 및 타겟 이미지 쌍(Is, It) 각각에서 전경과 배경을 구분하여, 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt)를 획득하는 단계; 상기 시멘틱 플로우 맵을 생성하는 단계에서 획득된 소스 이미지(Is)의 픽셀 위치(p)로부터 대응하는 타겟 이미지(It)의 픽셀 위치(q)로의 변화를 나타내는 소스 플로우 필드(Fs)와 타겟 이미지(It)의 픽셀 위치(q)로부터 소스 이미지(Is)의 픽셀 위치(p)로의 위치 변화를 나타내는 타겟 플로우 필드(Ft)를 이용하여 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt)를 각각 상호 워핑함으로써, 추정 소스 마스크()와 추정 타겟 마스크()를 획득하며, 소스 전경 마스크(Ms)와 추정 소스 마스크()와 사이의 차 및 타겟 전경 마스크(Mt)와 추정 타겟 마스크() 사이의 차를 누적하여 마스크 일관성 손실을 측정하는 단계; 상기 소스 및 타겟 이미지 쌍(Is, It)의 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt) 각각에 대응하는 영역 내의 각 픽셀에 대한 소스 플로우 필드(Fs(p)))와 타겟 플로우 필드(Ft(q))) 사이의 차이를 누적하여 플로우 일관성 손실을 측정하는 단계; 상기 소스 및 타겟 이미지 쌍(Is, It)의 소스 전경 마스크(Ms) 및 타겟 전경 마스크(Mt) 각각에 대응하는 영역 내에서 소스 플로우 필드(Fs(p))와 타겟 플로우 필드(Ft(q)) 각각에 대한 평활도 손실을 측정하는 단계; 및 상기 마스크 일관성 손실, 플로우 일관성 손실 및 평활화 손실 각각에 기지정된 손실 가중치를 적용하고 합하여 총 손실을 계산하고, 계산된 총 손실을 상기 샴 신경망으로 역전파하는 단계; 를 포함하는 시멘틱 매칭 방법
|
| 10 |
10
제9 항에 있어서, 상기 마스크 일관성 손실을 측정하는 단계는 마스크 일관성 손실(Lmask)을 수학식 (여기서 추정 소스 마스크()는 픽셀 위치(p)에 대해 W(Mt;Fs)(p) = Mt(p + Fs(p)) 연산을 수행하는 워핑 연산자(W)에 따라 로 획득되고, 추정 타겟 마스크() 또한 대응하는 방식으로 획득됨)에 따라 계산하고, 상기 플로우 일관성 손실을 측정하는 단계는 플로우 일관성 손실(Lflow)을 수학식 (여기서 는 각각 타겟 플로우 필드(Ft(q))를 이용하여 워핑 연산자(W)에 따라 소스 플로우 필드(Fs(p))를 워핑하여 획득되고, 는 소스 플로우 필드(Fs(p))를 이용하여 워핑 연산자(W)에 따라 타겟 플로우 필드(Ft(q))를 워핑하여 획득됨)에 따라 계산하며, 상기 평활도 손실을 측정하는 단계는 평활화 손실(Lsmooth)을 수학식 (여기서 ∥·∥1는 L1 norm 함수를 나타내고, ∇는 그래디언트 연산자)에 따라 계산하는 시멘틱 매칭 방법
|
