| 1 |
1
동일한 장면에 대한 가시광 이미지 및 적외선 이미지를 입력 받는 입력부;상기 적외선 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 특징맵 (이하, 적외선 특징맵)을 추출하는 IRNet 모델부;상기 가시광 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 특징맵(이하, 가시광 특징맵)을 추출하고, N 개의 가시광 특징맵과 N 개의 적외선 특징맵을 점진적으로 병합하여 상기 가시광 이미지와 상기 적외선 이미지가 병합된 병합 이미지를 생성하는 FusionNet 모델부; 및상기 병합 이미지를 출력하는 출력부를 포함하고, 상기 IRNet 모델부는, 상기 적외선 이미지의 엣지에 대한 어텐션 맵인 Edge-guided attention map(이하, 적외선 어텐션 맵)을 수학식 에 따라 생성하고, 여기서, Ivis는 가시광 이미지, Iinf는 적외선 이미지,상기 적외선 이미지와 상기 적외선 어텐션 맵을 연결(concatenation)하여 연결 적외선 이미지를 생성하여, 상기 연결 적외선 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 상기 적외선 특징맵을 추출하는,다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서, 상기 FusionNet 모델부는,상기 가시광 이미지의 엣지에 대한 어텐션 맵인 Edge-guided attention map(이하, 가시광 어텐션 맵)을 생성하고, 상기 가시광 이미지와 상기 가시광 어텐션 맵을 연결(concatenation)하여 연결 가시광 이미지를 생성하여, 상기 연결 가시광 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 상기 가시광 특징맵을 추출하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 장치
|
| 5 |
5
제4항에 있어서, 상기 FusionNet 모델부는,수학식에 따라 상기 적외선 어텐션 맵을 생성하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 장치
|
| 6 |
6
제1항에 있어서, 상기 FusionNet 모델부는,수학식 에 따라 상기 N 개의 가시광 특징맵과 N 개의 적외선 특징맵을 점진적으로 병합하여 상기 가시광 이미지와 상기 적외선 이미지가 병합된 병합 이미지를 생성하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 장치
|
| 7 |
7
제1항에 있어서, 상기 N개의 가시광 특징맵과 N개의 적외선 특징맵을 점진적으로 병합하는 것은, M(여기서, M은 2 이상 N 보다 작은 자연수) 레벨의 적외선 특징맵과 M-1 레벨의 적외선 특징맵을 연결하여 M 레벨 연결 적외선 특징맵을 생성하는 과정과, M 레벨의 가시광 특징맵과 M 레벨의 적외선 특징맵을 병합하여 M 레벨 병합 특징맵을 생성하는 과정을 포함하며,상기 병합된 이미지를 생성하는 것은,1 레벨 병합 특징맵을 기반으로 상기 병합된 이미지를 생성하는 과정을 포함하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 장치
|
| 8 |
8
동일한 장면에 대한 가시광 이미지 및 적외선 이미지를 입력 받는 단계;상기 적외선 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 특징맵 (이하, 적외선 특징맵)을 추출하는 단계;상기 가시광 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 특징맵(이하, 가시광 특징맵)을 추출하는 단계;N 개의 가시광 특징맵과 N 개의 적외선 특징맵을 점진적으로 병합하여 상기 가시광 이미지와 상기 적외선 이미지가 병합된 병합 이미지를 생성하는 단계; 및상기 병합 이미지를 출력하는 단계를 포함하고,상기 적외선 특징맵을 추출하는 단계는,상기 적외선 이미지의 엣지에 대한 어텐션 맵인 Edge-guided attention map(이하, 적외선 어텐션 맵)을 수학식 에 따라 생성하고, 여기서, Ivis는 가시광 이미지, Iinf는 적외선 이미지,상기 적외선 이미지와 상기 적외선 어텐션 맵을 연결(concatenation)하여 연결 적외선 이미지를 생성하여, 상기 연결 적외선 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 상기 적외선 특징맵을 추출하는,다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 방법
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제8항에 있어서, 상기 가시광 특징맵을 추출하는 단계는,상기 가시광 이미지의 엣지에 대한 어텐션 맵인 Edge-guided attention map(이하, 가시광 어텐션 맵)을 생성하고, 상기 가시광 이미지와 상기 가시광 어텐션 맵을 연결(concatenation)하여 연결 가시광 이미지를 생성하여, 상기 연결 가시광 이미지를 N 개의 레벨로 다운 샘플링하여 각 레벨에 대한 상기 가시광 특징맵을 추출하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 방법
|
| 12 |
12
제11항에 있어서, 상기 가시광 특징맵을 추출하는 단계는,수학식에 따라 상기 적외선 어텐션 맵을 생성하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 방법
|
| 13 |
13
제8항에 있어서, 상기 가시광 특징맵을 추출하는 단계는,수학식 에 따라 상기 N 개의 가시광 특징맵과 N 개의 적외선 특징맵을 점진적으로 병합하여 상기 가시광 이미지와 상기 적외선 이미지가 병합된 병합 이미지를 생성하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 방법
|
| 14 |
14
제8항에 있어서, 상기 N개의 가시광 특징맵과 N개의 적외선 특징맵을 점진적으로 병합하는 것은, M(여기서, M은 2 이상 N 보다 작은 자연수) 레벨의 적외선 특징맵과 M-1 레벨의 적외선 특징맵을 연결하여 M 레벨 연결 적외선 특징맵을 생성하는 과정과, M 레벨의 가시광 특징맵과 M 레벨의 적외선 특징맵을 병합하여 M 레벨 병합 특징맵을 생성하는 과정을 포함하고,상기 병합된 이미지를 생성하는 것은,1 레벨 병합 특징맵을 기반으로 상기 병합된 이미지를 생성하는 과정을 포함하는, 다중 스케일 네트워크 기반의 가시광 이미지 및 적외선 이미지 병합 방법
|
