| 1 |
1
광학 영상을 촬영하는 광학 촬영부; 열화상 영상을 촬영하는 열화상 촬영부; 상기 광학 영상으로부터 제1 VL 특징벡터를 추출하는 VL 엔코더; 상기 열화상 영상으로부터 제1 IR 특징벡터를 추출하는 IR 엔코더; 상기 제1 VL 특징벡터와 상기 제1 IR 특징벡터를 입력받아 딥러닝 기반으로 합성하여 특징벡터를 업데이트하는 특징 퓨전 모듈; 상기 특징 퓨전 모듈로부터 업데이트된 특징벡터를 업샘플링하는 디코더; 및 상기 디코더에서 업샘플링된 특징벡터를 기반으로 객체위치를 예측하는 객체위치 예측부;를 포함하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 2 |
2
제 1항에 있어서, 상기 특징 퓨전 모듈은, 상기 제1 VL 특징벡터에 대해 콘볼루션 연산을 거쳐 새로운 제2 VL 특징벡터를 추출하는 VL 특징벡터 추출부; 상기 제1 IR 특징벡터에 대해 콘볼루션 연산을 거쳐 새로운 제2 IR 특징벡터를 추출하는 IR 특징벡터 추출부; 상기 제2 VL 특징벡터와 상기 제2 IR 특징벡터를 채널방향으로 연속적으로 쌓아 콘볼루션 연산을 거친 후 0 부터 1사이의 확률값을 가지는 어텐션 벡터를 추출하는 어텐션 벡터 추출부; 상기 어텐션 벡터 추출부에서 추출된 상기 어텐션 벡터를 상기 제1 VL 특징벡터에 적용하여 특징벡터를 업데이트하여 제3 VL 특징벡터를 추출하는 VL 채널 조정부; 및 상기 어텐션 벡터 추출부에서 추출된 상기 어텐션 벡터를 상기 제1 IR 특징벡터에 적용하여 특징벡터를 업데이트하여 제3 IR 특징벡터를 추출하는 IR 채널 조정부;를 포함하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 3 |
3
제 2항에 있어서, 상기 VL 특징벡터 추출부와 상기 IR 특징벡터 추출부는, 각각 크기가 다른 다수의 콘볼루션 필터를 적용하여 연산하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 4 |
4
제 2항에 있어서, 상기 VL 채널 조정부는, 상기 제1 VL 특징벡터와 상기 어텐션 벡터를 채널별로 곱하여 상기 제3 VL 특징벡터를 추출하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 5 |
5
제 2항에 있어서, 상기 IR 채널 조정부는, 상기 제1 IR 특징벡터와 상기 어텐션 벡터를 채널별로 곱하여 상기 제3 IR 특징벡터를 추출하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 6 |
6
제 2항에 있어서, 상기 어텐션 벡터 추출부는, 시그모이드 함수를 통해 각 원소의 값을 0 부터 1 사이의 값으로 매핑시켜 정규화하여 상기 어텐션 벡터를 추출하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출장치
|
| 7 |
7
VL 엔코더와 IR 엔코더가 각각 광학 영상과 열화상 영상을 입력받는 단계; 상기 VL 엔코더와 상기 IR 엔코더가 상기 광학 영상과 상기 열화상 화상으로부터 각각 제1 VL 특징벡터과 제1 IR 특징벡터를 추출하는 단계; 특징 퓨전 모듈이 상기 제1 VL 특징벡터와 상기 제1 IR 특징벡터를 딥러닝 기반으로 합성하여 특징벡터를 업데이트하는 단계; 디코더가 상기 특징 퓨전 모듈로부터 업데이트된 특징벡터를 업샘플링하여 디코딩하는 단계; 및 상기 객체위치 예측부가 업샘플링된 특징벡터를 기반으로 객체위치를 예측하는 단계를 포함하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출방법
|
| 8 |
8
제 7항에 있어서, 상기 특징벡터를 업데이트하는 단계는, 상기 특징 퓨전 모듈이 상기 제1 VL 특징벡터와 상기 제1 IR 특징벡터에 대해 각각 콘볼루션 연산을 거쳐 새로운 제2 VL 특징벡터와 제2 IR 특징벡터를 추출하는 단계; 상기 특징 퓨전 모듈이 상기 제2 VL 특징벡터와 상기 제2 IR 특징벡터를 채널방향으로 연속적으로 쌓아 콘볼루션 연산을 거친 후 0 부터 1사이의 확률값을 가지는 어텐션 벡터를 추출하는 단계; 및 상기 특징 퓨전 모듈이 상기 어텐션 벡터를 상기 제1 VL 특징벡터와 상기 제1 IR 특징벡터에 각각 적용하여 제3 VL 특징벡터와 제3 IR 특징벡터를 추출하는 단계;를 포함하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출방법
|
| 9 |
9
제 8항에 있어서, 상기 제2 VL 특징벡터와 상기 제2 IR 특징벡터를 추출하는 단계는, 상기 특징 퓨전 모듈이 각각 크기가 다른 다수의 콘볼루션 필터를 적용하여 연산하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출방법
|
| 10 |
10
제 8항에 있어서, 상기 어텐션 벡터를 추출하는 단계는, 상기 특징 퓨전 모듈이 시그모이드 함수를 통해 각 원소의 값을 0 부터 1 사이의 값으로 매핑시켜 정규화하여 상기 어텐션 벡터를 추출하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출방법
|
| 11 |
11
제 8항에 있어서, 상기 제3 VL 특징벡터와 상기 제3 IR 특징벡터를 추출하는 단계는, 상기 특징 퓨전 모듈이 상기 제1 VL 특징벡터와 상기 제1 IR 특징벡터에 각각 상기 어텐션 벡터를 채널별로 곱하여 상기 제3 VL 특징벡터와 상기 제3 IR 특징벡터를 추출하는 것을 특징으로 하는 합성 영상을 활용한 객체 검출방법
|
