1 |
1
복수의 디코딩 레이어를 포함하는 객체 검출 모델을 이용하여 상기 복수의 디코딩 레이어의 각 디코딩 레이어별로 입력 영상으로부터 적어도 하나의 후보 객체에 대한 적어도 하나의 객체 정보를 획득하는 단계;각 디코딩 레이어에서 획득된 상기 적어도 하나의 객체 정보에 기반하여 각 디코딩 레이어에 대한 E-NMS(Efficient Non-Maximum Suppression) 연산을 수행하는 단계; 및상기 각 디코딩 레이어에 대한 E-NMS 연산의 결과에 기반하여 E-NMS 연산을 재수행하는 단계를 포함하고,상기 객체 정보는,객체 영역 예측 정보, 객체 IOU(Intersection Over Union) 예측 정보 및 객체 분류 예측 정보를 포함하고,상기 E-NMS 연산은,상기 적어도 하나의 후보 객체의 객체 영역 예측 정보에 대한 컨피던스 스코어의 초기값을 결정하는 제 1 연산;상기 적어도 하나의 후보 객체의 객체 영역 예측 정보 및 객체 IOU 예측 정보에 기반하여 상기 컨피던스 스코어를 업데이트하는 제 2 연산; 및상기 업데이트된 컨피던스 스코어에 기반하여 상기 적어도 하나의 후보 객체의 최종 객체 영역을 결정하는 제 3 연산을 포함하는,객체 검출 방법
|
2 |
2
제 1 항에 있어서,상기 객체 검출 모델은,상기 입력 영상으로부터 복수의 제1 공통 특징 맵을 추출하는 일련의 인코딩 레이어를 포함하는 공통 인코더; 및상기 복수의 제1 공통 특징 맵에 대한 멀티스케일(multi-scale) 피처 융합에 의해 복수의 제2 공통 특징 맵을 생성하는 다중 디코딩 레이어를 포함하는 공통 디코더를 포함하는객체 검출 방법
|
3 |
3
제 2 항에 있어서,상기 다중 디코딩 레이어는,상기 복수의 제1 공통 특징 맵의 일부를 업샘플링(upsampling) 및 합산(add)하여 출력하는 톱-다운 레이어(Top-Down Layer);상기 복수의 제1 공통 특징 맵의 일부를 제외한 나머지 및 상기 톱-다운 레이어의 출력에 대하여 콘볼루션 연산을 수행하는 중간 레이어; 및상기 중간 레이어의 출력을 콘볼루션 및 합산하여 상기 복수의 제2 공통 특징 맵을 출력하는 바텀-업 경로 병합 레이어(Bottom-Up Path Aggregation Layer)를 포함하고,상기 복수의 디코딩 레이어는 상기 바텀-업 경로 병합 레이어에 대응하는,객체 검출 방법
|
4 |
4
제 1 항에 있어서,상기 객체 검출 모델은,상기 복수의 디코딩 레이어에서 출력된 복수의 제2 공통 특징 맵을 객체 영역 검출을 위한 객체 영역 특징 맵으로 변환하는 객체 영역 헤더; 및상기 복수의 제2 공통 특징 맵을 객체 분류를 위한 객체 분류 특징 맵으로 변환하는 객체 분류 헤더를 포함하는,객체 검출 방법
|
5 |
5
제 4 항에 있어서,상기 객체 영역 헤더 및 상기 객체 분류 헤더는, 가중치를 서로 공유하는 복수의 콘볼루션 레이어를 포함하는,객체 검출 방법
|
6 |
6
제 1 항에 있어서,상기 각 디코딩 레이어에 대한 E-NMS 연산을 수행하는 단계에서, 상기 제 1 연산은,상기 후보 객체의 객체 IOU 예측 정보에 대한 함수에 기반하여 상기 초기값을 결정하는,객체 검출 방법
|
7 |
7
제 1 항에 있어서,상기 제 2 연산은,상기 초기값에 기반하여 상기 적어도 하나의 후보 객체의 객체 영역 예측 정보를 정렬하는 연산;상기 적어도 하나의 후보 객체에 대한 서로 다른 두 개의 객체 영역 예측 정보 간의 IOU를 결정하는 연산;사전정의된 가중치 함수에 기반하여 상기 IOU를 재결정하는 연산; 및상기 재결정된 IOU에 기반하여 상기 컨피던스 스코어를 결정하는 연산을 포함하는,객체 검출 방법
|
8 |
8
제 7 항에 있어서,상기 IOU를 결정하는 연산, 상기 IOU를 재결정하는 연산 및 상기 컨피던스 스코어를 결정하는 연산은, IOU 매트릭스를 이용하여 병렬적으로 수행가능한,객체 검출 방법
|
9 |
9
제 4 항에 있어서,상기 객체 검출 모델은 상기 객체 영역 특징 맵에 기반하여 객체 크기 예측 정보(pred_reward_scale)를 출력하고, 상기 객체 분류 특징 맵에 기반하여 객체 분류 정확도 예측 정보(pred_reward_identification)를 출력하는,객체 검출 방법
|
10 |
10
제 9 항에 있어서,상기 객체 크기 예측 정보 및 상기 객체 분류 정확도 예측 정보는 상기 객체 검출 모델의 학습 과정에서 사용되고 추론 과정에서는 사용되지 않는 정보인,객체 검출 방법
|
11 |
11
복수의 디코딩 레이어를 포함하는 객체 검출 모델을 저장하는 메모리; 및하나 이상의 프로세서를 포함하고,상기 프로세서는,상기 객체 검출 모델을 이용하여 상기 복수의 디코딩 레이어의 각 디코딩 레이어별로 입력 영상으로부터 적어도 하나의 후보 객체에 대한 적어도 하나의 객체 정보를 획득하고,각 디코딩 레이어별로 획득된 상기 적어도 하나의 객체 정보에 기반하여 각 디코딩 레이어에 대한 E-NMS(Efficient Non-Maximum Suppression) 연산을 수행하고,상기 각 디코딩 레이어에 대한 NMS 연산의 결과에 기반하여 E-NMS 연산을 재수행하도록 구성되고,상기 객체 정보는,객체 영역 예측 정보객체 IOU예측 정보및 객체 분류 예측 정보를 포함하고,상기 E-NMS 연산은,상기 적어도 하나의 후보 객체의 객체 영역 예측 정보에 대한 컨피던스 스코어의 초기값을 결정하는 제 1 연산;상기 적어도 하나의 후보 객체의 객체 영역 예측 정보 및 객체 IOU 예측 정보에 기반하여 상기 컨피던스 스코어를 업데이트하는 제 2 연산; 및상기 업데이트된 컨피던스 스코어에 기반하여 상기 적어도 하나의 후보 객체의 최종 객체 영역을 결정하는 제 3 연산을 포함하는,객체 검출 장치
|
12 |
12
제 11 항에 있어서,상기 객체 검출 모델은,상기 입력 영상으로부터 복수의 제1 공통 특징 맵을 추출하는 일련의 인코딩 레이어를 포함하는 공통 인코더; 및상기 복수의 제1 공통 특징 맵에 대한 멀티스케일(multi-scale) 피처 융합에 의해 복수의 제2 공통 특징 맵을 생성하는 다중 디코딩 레이어를 포함하는 공통 디코더를 포함하는객체 검출 장치
|
13 |
13
제 12 항에 있어서,상기 다중 디코딩 레이어는,상기 복수의 제1 공통 특징 맵의 일부를 업샘플링(upsampling) 및 합산(add)하여 출력하는 톱-다운 레이어(Top-Down Layer);상기 복수의 제1 공통 특징 맵의 일부를 제외한 나머지 및 상기 톱-다운 레이어의 출력에 대하여 콘볼루션 연산을 수행하는 중간 레이어; 및상기 중간 레이어의 출력을 콘볼루션 및 합산하여 상기 복수의 제2 공통 특징 맵을 출력하는 바텀-업 경로 병합 레이어(Bottom-Up Path Aggregation Layer)를 포함하고,상기 복수의 디코딩 레이어는 상기 바텀-업 경로 병합 레이어에 대응하는,객체 검출 장치
|
14 |
14
제 11 항에 있어서,상기 객체 검출 모델은,상기 복수의 디코딩 레이어에서 출력된 복수의 제2 공통 특징 맵을 객체 영역 검출을 위한 객체 영역 특징 맵으로 변환하는 객체 영역 헤더, 및상기 복수의 제2 공통 특징 맵을 객체 분류를 위한 객체 분류 특징 맵으로 변환하는 객체 분류 헤더를 포함하는,객체 검출 장치
|
15 |
15
제 14 항에 있어서,상기 객체 영역 헤더 및 상기 객체 분류 헤더는, 가중치를 서로 공유하는 복수의 콘볼루션 레이어를 포함하는,객체 검출 장치
|
16 |
16
제 11 항에 있어서,상기 프로세서는,상기 각 디코딩 레이어에 대한 E-NMS 연산을 수행하기 위하여,상기 제 1 연산에서, 상기 후보 객체의 객체 IOU 예측 정보에 대한 함수에 기반하여 상기 초기값을 결정하도록 구성되는,객체 검출 장치
|
17 |
17
제 11 항에 있어서,상기 제 2 연산은,상기 초기값에 기반하여 상기 적어도 하나의 후보 객체의 객체 영역 예측 정보를 정렬하는 연산;상기 적어도 하나의 후보 객체에 대한 서로 다른 두 개의 객체 영역 예측 정보 간의 IOU를 결정하는 연산;사전정의된 가중치 함수에 기반하여 상기 IOU를 재결정하는 연산; 및상기 재결정된 IOU에 기반하여 상기 컨피던스 스코어를 결정하는 연산을 포함하는,객체 검출 장치
|
18 |
18
제 17 항에 있어서,상기 프로세서는,IOU 매트릭스를 이용하여, 상기 IOU를 결정하는 연산, 상기 IOU를 재결정하는 연산 및 상기 컨피던스 스코어를 결정하는 연산을 병렬적으로 수행가능한,객체 검출 장치
|
19 |
19
제 14 항에 있어서,상기 프로세서는 상기 객체 검출 모델을 실행하여,상기 객체 영역 특징 맵에 기반하여 객체 크기 예측 정보(pred_reward_scale)를 추출하고, 상기 객체 분류 특징 맵에 기반하여 객체 분류 정확도 예측 정보(pred_reward_identification)를 추출하도록 구성되는,객체 검출 장치
|
20 |
20
제 19 항에 있어서,상기 프로세서는,상기 객체 크기 예측 정보 및 상기 객체 분류 정확도 예측 정보를 상기 객체 검출 모델의 학습 과정에서 사용하고, 추론 과정에서는 사용하지 않도록 구성되는,객체 검출 장치
|