| 1 |
1
가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 후보 제안 모듈; 및상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 검출 모듈을 포함하되,상기 후보 제안 모듈은,상기 가시 이미지에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고,상기 가시 이미지 콘볼루션 특징맵에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며,상기 가시 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하며,각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 객체 검출 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제 1 항에 있어서,상기 후보 제안 모듈은,적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성하는 제 1 특징맵 생성부;적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성하는 제 2 특징맵 생성부; 및상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 후보 제안부를 포함하는 객체 검출 장치
|
| 6 |
6
제 5 항에 있어서,상기 후보 제안부는,상기 가시 이미지 콘볼루션 특징맵, 상기 가시 이미지 후보 콘볼루션 특징맵, 상기 폴링된 가시 이미지 후보 특징맵, 상기 열 이미지 콘볼루션 특징맵, 상기 열 이미지 후보 콘볼루션 특징맵, 상기 폴링된 열 이미지 후보 특징맵에 포함된 각각의 가시 정보와 열 정보를 검출하는 검출부; 및상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 제 1 융합부를 포함하는 객체 검출 장치
|
| 7 |
7
제 5 항에 있어서,상기 후보 제안 모듈은,상기 가시 이미지 콘볼루션 특징맵과 상기 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 콘볼루션 특징맵을 생성하는 제 2 융합부를 더 포함하는 객체 검출 장치
|
| 8 |
8
제 1 항에 있어서,상기 검출 모듈은,상기 후보 제안 모듈에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하는 특징 정보 획득부;상기 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합하는 제 3 융합부; 및상기 제 3 융합부를 통해 융합된 특징 정보들을 기반으로 객체를 검출하는 객체 검출부를 포함하는 객체 검출 장치
|
| 9 |
9
삭제
|
| 10 |
10
삭제
|
| 11 |
11
제 8 항에 있어서,상기 특징 정보 획득부는,상기 후보 제안 모듈에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵 및 융합된 콘볼루션 특징맵을 디콘볼루션(deconvolution)하여 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵 및 디콘볼루션된 융합된 콘볼루션 특징맵을 획득하고, ROI 폴링 레이어(pooling layer)를 통해 상기 디콘볼루션된 가시 이미지 특징맵, 디콘볼루션된 열 이미지 특징맵과 디콘볼루션된 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하며,상기 제 3 융합부는,상기 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 융합하는 객체 검출 장치
|
| 12 |
12
가시(visible) 이미지 및 열(thermal) 이미지에서 특징맵들(feature maps)을 생성하고, 상기 특징맵들에 기반하여 객체 후보 제안(object candidate proposals) 정보를 생성하는 단계; 및상기 특징맵들에 기초하여 상기 객체 후보 제안 정보를 분류하여 객체를 검출하는 단계를 포함하되,상기 객체 후보 제안 정보를 생성하는 단계는, 상기 가시 이미지에서 생성된 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지에서 생성된 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고,상기 가시 이미지 콘볼루션 특징맵에서 생성된 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에서 생성된 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며,상기 가시 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에서 생성된 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하며,각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 객체 검출 방법
|
| 13 |
13
제 12 항에 있어서,상기 객체 후보 제안 정보를 생성하는 단계는, 적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지에서 가시 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 가시 이미지 콘볼루션 특징맵에서 가시 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 가시 이미지 후보 콘볼루션 특징맵에서 폴링된 가시 이미지 후보 특징맵을 생성하는 단계;적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지에서 열 이미지 콘볼루션 특징맵을 생성하고, 적어도 하나의 콘볼루션 레이어를 통해 상기 열 이미지 콘볼루션 특징맵에서 열 이미지 후보 콘볼루션 특징맵을 생성하며, 적어도 하나의 폴링 레이어(pooling layer)를 통해 상기 열 이미지 후보 콘볼루션 특징맵에서 폴링된 열 이미지 후보 특징맵을 생성하는 단계; 및상기 가시 이미지 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 콘볼루션 특징맵에 포함된 열 정보를 융합하고, 상기 가시 이미지 후보 콘볼루션 특징맵에 포함된 가시 정보와 상기 열 이미지 후보 콘볼루션 특징맵에 포함된 열 정보를 융합하며, 상기 폴링된 가시 이미지 후보 특징맵에 포함된 가시 정보와 상기 폴링된 열 이미지 후보 특징맵에 포함된 열 정보를 융합하여, 상기 객체 후보 제안 정보를 생성하는 단계를 포함하는 객체 검출 방법
|
| 14 |
14
제 13 항에 있어서,상기 열 이미지 콘볼루션 특징맵, 열 이미지 후보 콘볼루션 특징맵 및 폴링된 열 이미지 후보 특징맵을 생성하는 단계 이후 또는 상기 각각에서 융합된 가시 정보와 열 정보에 기반하여 상기 객체 후보 제안 정보를 생성하는 단계 이후에,상기 가시 이미지 콘볼루션 특징맵과 상기 열 이미지 콘볼루션 특징맵을 융합(fuse)하여 융합된 특징맵을 생성하는 단계를 더 포함하는 객체 검출 방법
|
| 15 |
15
제 12 항에 있어서,상기 객체를 검출하는 단계는,상기 객체 후보 제안 정보를 생성하는 단계에서 생성된 가시 이미지 콘볼루션 특징맵, 열 이미지 콘볼루션 특징맵, 및 가시 이미지 콘볼루션 특징맵과 열 이미지 콘볼루션 특징맵이 융합된 콘볼루션 특징맵에 상기 객체 후보 제안 정보를 맵핑(mapping)하여 가시 이미지 특징 정보, 열 이미지 특징 정보 및 융합된 특징 정보를 획득하는 단계;상기 가시 이미지 특징 정보와 열 이미지 특징 정보를 융합하는 단계; 및상기 가시 이미지 특징 정보와 열 이미지 특징 정보가 융합된 특징 정보들을 기반으로 객체를 검출하는 단계를 포함하는 객체 검출 방법
|
