1 |
1
보행자 검출 장치에 있어서, 가시광 영상 및 적외선 영상을 입력받는 영상 입력부;입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 영상 분석부;기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 영상 선택부; 및선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 보행자 검출부;를 포함하고,상기 영상 선택부는가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 퍼지 논리를 설정하여, 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 최종 퍼지 결과값을 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 장치
|
2 |
2
제1항에 있어서, 상기 영상 분석부는가시광 배경영상과 입력된 가시광 영상의 차영상을 생성하여 가시광 영상의 후보영역을 검출하고, 적외선 배경영상과 입력된 적외선 영상의 차영상을 생성하여 적외선 영상의 후보영역을 검출하는 후보영역 검출부;가시광 영상의 후보영역 및 적외선 영상의 후보영역에서 픽셀 평균값을 산출하여 제1 특징값 및 제2 특징값을 추출하는 특징값 추출부; 및 가시광 영상 및 적외선 영상의 후보영역에 가우시안 필터링을 적용하고 각 픽셀 명도의 기울기 크기값을 산출하여 제1 가중치 및 제2 가중치를 추출하는 가중치 추출부를 포함하는 보행자 검출 장치
|
3 |
3
삭제
|
4 |
4
제1항에 있어서, 상기 영상 선택부는기 설정한 임계값을 기준으로 상기 최종 퍼지 결과값이 임계값 이하이면 가시광 영상에서 검출한 후보영역을 선택하고, 그렇지 않을 경우는 적외선 영상에서 검출한 후보영역을 선택하는 보행자 검출 장치
|
5 |
5
제1항에 있어서, 상기 보행자 검출부의 회선 신경망 모델은 미리 설정한 스케일의 보행자 후보 영상을 입력하는 이미지 입력 레이어;5개의 콘벌루션 레이어 집합 및 3개의 완전 연결(Fully connected) 레이어 집합을 포함하는 특징 추출 레이어; 및상기 3개의 완전 연결 레이어에서 출력된 후보영역의 특징을 소프트맥스(Softmax) 레이어를 통해 보행자 또는 비호행자로 분류하는 분류 레이어를 포함하는 보행자 검출 장치
|
6 |
6
제5항에 있어서, 상기 특징 추출 레이어는 각각의 콘벌루션 레이어들은 교정 선형 유닛(Rectified Linear Unit) 레이어와 함께 하고, 로컬 응답 정규화(Local response normalization) 레이어 및 맥스 풀링(Max pooling) 레이어를 포함하는 보행자 검출 장치
|
7 |
7
제5항에 있어서, 상기 5개의 콘벌루션 레이어 집합은115×51×1 픽셀의 이미지가 입력되며, 크기 11×11×3 크기의 96개의 필터를 이용하여 2 픽셀 간격으로 콘벌루션화하는 제1 콘벌루션 레이어, 교정 선형 유닛(Rectified Linear Unit) 레이어, 로컬 응답 정규화(Local response normalization) 레이어 및 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 27×43×96 픽셀의 특징맵을 출력하는 제1 맥스 풀링 레이어로 구성된 제1 콘벌루션 레이어 집합;상기 제1 콘벌루션 레이어 집합에서 출력된 27×43×96 픽셀의 특징맵에 5×5×96 크기의 128개의 필터를 1 픽셀 간격으로 2패딩씩 콘벌루션화하는 제2 콘벌루션 레이어, 교정 선형 유닛 레이어, 로컬 응답 정규화 및 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 13×21×128 픽셀의 특징맵을 출력하는 제2 맥스 풀링 레이어로 구성된 제2 콘벌루션 레이어 집합;상기 제2 콘벌루션 레이어 집합에서 출력된 13×21×256 픽셀의 특징맵에 3×3×128 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제3 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제3 콘벌루션 레이어 집합;상기 제3 콘벌루션 레이어에서 출력된 13×21×256 픽셀의 특징맵에 3×3×128 크기의 필터 256개를 이용하여 1 픽셀 간격으로 1 패딩씩 콘벌루션화하는 제4 콘벌루션 레이어 및 교정 선형 유닛 레이어로 구성된 제4 콘벌루션 레이어 집합; 및상기 제4 콘벌루션 레이어 집합에서 출력된 13×21×256 픽셀의 특징맵에 픽셀의 특징맵에 3×3×256 크기의 128개의 필터를 1 픽셀 간격으로 1패딩씩 콘벌루션화하는 제5 콘벌루션 레이어, 3×3 크기의 필터를 1개를 2 픽셀 간격으로 적용하여 6×10×128 픽셀의 특징맵을 출력하는 제3 맥스 풀링 레이어로 구성된 및 교정 선형 유닛 레이어로 구성된 제5 콘벌루션 레이어 집합;을 포함하는 보행자 검출 장치
|
8 |
8
제5항에 있어서, 상기 3개의 완전 연결 레이어 집합은 6 및 4096 노드들을 각각 입력 및 출력으로 하는 제1 완전 연결 레이어;4096 및 1024 노드들을 각각 입력 및 출력으로 하는 제2 완전 연결 레이어; 및1024 및 2개 노드들을 각각 입력 및 출력으로 하는 제3 완전 연결 레이어를 포함하는 보행자 검출 장치
|
9 |
9
보행자 검출 방법에 있어서,가시광 영상 및 적외선 영상을 입력받는 단계;입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 단계;기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계; 및선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 단계를 포함하고,상기 기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계는가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 퍼지 논리를 설정하여, 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 최종 퍼지 결과값을 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 방법
|
10 |
10
제9항에 있어서,상기 입력된 가시광선 영상 및 적외선 영상에서 후보 영역을 검출하고, 검출한 후보 영역에서 특징값 및 가중치를 추출하는 단계는가시광 배경영상과 입력된 가시광 영상의 차영상을 생성하여 가시광 영상의 후보영역을 검출하고, 적외선 배경영상과 입력된 적외선 영상의 차영상을 생성하여 적외선 영상의 후보영역을 검출하는 단계;상기 가시광 영상의 후보영역 및 상기 적외선 영상의 후보영역에서 픽셀 평균값을 산출하여 제1 특징값 및 제2 특징값을 추출하는 단계; 및상기 가시광 영상의 후보영역 및 상기 적외선 영상의 후보영역에 가우시안 필터링을 적용하고 각 픽셀 명도의 기울기 크기값을 산출하여 제1 가중치 및 제2 가중치를 추출하는 단계를 더 포함하는 보행자 검출 방법
|
11 |
11
제10항에 있어서,상기 기 설정한 두 개의 퍼지 논리를 기반으로 후보영역의 특징값 및 가중치를 이용하여 보행자 검출에 유리한 후보영역을 선택하는 단계는 기 설정한 두 개의 퍼지 논리에 상기 제1 특징값, 상기 제2 특징값, 상기 제1 가중치 및 상기 제2 가중치를 적용하여 최종 퍼지 결과값을 출력하는 단계 및상기 최종 퍼지 결과값에 따라 상기 가시광 영상의 후보영역 또는 상기 적외선 영상의 후보영역 중 하나를 선택하는 단계를 더 포함하는 보행자 검출 방법
|
12 |
12
제11항에 있어서, 상기 퍼지 논리는 가시광 영상 및 적외선 영상의 후보영역에서 추출한 특징값이 보행자에 해당할 경우와 비보행자에 해당할 경우에 따라 상이하게 설정하고, 상기 최종 퍼지 결과값은 상기 후보영역의 특징값을 퍼지 논리에 입력하여 출력된 퍼지 결과값과 가중치를 식(1)에 적용하여 산출하되, (1)식(1)에서 는 최종 퍼지 결과값, 는 보행자일 경우의 퍼지 결과값, 는 보행자일 경우의 가중치, 는 비보행자일 경우의 퍼지 결과값, 는 비보행자일 경우의 가중치를 의미하는 보행자 검출 방법
|
13 |
13
제9항에 있어서,상기 선택된 후보영역에 기 학습한 회선 신경망 모델을 적용하여 선택된 영상이 보행자에 해당하는지 검증하고, 검증 결과에 따라 상기 가시광 영상 및 적외선 영상 내 보행자를 검출하는 단계는 데이터 세트에 포함된 보행자 영역 및 비보행자 영역을 학습한 회선 신경망 모델을 이용하여 상기 선택된 후보영역을 보행자 또는 비보행자로 분류하고, 보행자로 분류된 후보영역으로 상기 가시광 영상 및 상기 적외선 영상 내의 보행자를 검출하는 보행자 검출 방법
|
14 |
14
제9항 내지 제13항 중 어느 하나의 보행자 검출 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램
|