| 1 |
1
전체 영상에서 얼굴 이미지를 검출하여, 검출한 얼굴 이미지에서 얼굴 특징 벡터를 추출하는 얼굴 특징점 추출 과정;오디오에서 음성을 검출하여, 검출한 음성에서 음성 특징 데이터를 추출하는 음성 특징점 추출 과정;미리 등록된 등록 특징 벡터와, 상기 얼굴 이미지에서 추출한 얼굴 특징 벡터간의 얼굴 유사도를 산출하는 얼굴 유사도 산출 과정;미리 등록된 등록 특징 데이터와, 상기 음성에서 추출한 음성 특정 데이터간의 음성 유사도를 산출하는 음성 유사도 산출 과정; 및상기 얼굴 유사도와 음성 유사도를 인공 신경망 모델에 적용시켜 본인 인증을 수행하는 본인 인증 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 2 |
2
청구항 1에 있어서, 상기 얼굴 특징점 추출 과정은,전체 영상에서 얼굴 이미지를 단계적으로 검출하는 얼굴 이미지 검출 과정;검출된 얼굴 이미지의 크기와 색상을 설정된 값으로 정규화하는 정규화 과정; 및상기 정규화된 얼굴 이미지에서 얼굴 특징 벡터를 추출하는 얼굴 특징 벡터 추출 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 3 |
3
청구항 2에 있어서, 상기 얼굴 이미지를 단계적으로 검출하는 것은,아다부스트(adaboost) 방식을 통해 얼굴 이미지를 단계적으로 검출하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 4 |
4
청구항 2에 있어서, 상기 정규화 과정은,검출된 얼굴 이미지의 크기를 미리 설정된 크기로 변환시켜 크기 정규화 얼굴 이미지로서 출력하는 크기 정규화 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 5 |
5
청구항 4에 있어서, 상기 크기 정규화 과정이 완료된 후에,크기 변환된 얼굴 이미지의 기울어진 기울어짐 각도 및 기울어짐 방향을 파악하여, 상기 기울어짐 각도만큼 기울어짐 방향의 역방향으로 상기 얼굴 이미지를 회전시켜 크기 정규화 얼굴 이미지로서 출력하는 각도 정규화 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 6 |
6
청구항 5에 있어서, 상기 각도 정규화 과정에서 기울어짐 각도의 파악은,상기 크기 변환된 얼굴 이미지를 2
|
| 7 |
7
청구항 5에 있어서, 상기 각도 정규화 과정이 있은 후,상기 정규화 얼굴 이미지에서 조명 영향을 제거하여 조명 정규화 얼굴 이미지로서 출력하는 조명 정규화 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 8 |
8
청구항 7에 있어서, 상기 조명 영향을 제거하는 것은,상기 정규화 얼굴 이미지에서 승법잡음(multiplicative moise) 및 상가성잡음(additive noise)을 제거하여 조명 정규화 얼굴 이미지로서 출력하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 9 |
9
청구항 8에 있어서, 상기 정규화 얼굴 이미지에서 승법잡음(multiplicative moise) 및 상가성잡음(additive noise)을 제거하는 것은,x,y를 화소 좌표, I'(x,y)를 조명 영향을 받은 얼굴 이미지의 화소 함수, I(x,y)를 조명 영향이 제거된 정규화된 얼굴 이미지의 화소 함수, E는 정규화된 얼굴 이미지의 화소값 평균, VAR을 분산이라 할 때,에 의해 산출되어 출력됨을 특징으로 하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 10 |
10
청구항 2에 있어서, 상기 얼굴 특징 벡터 추출 과정은,상기 정규화된 얼굴 이미지에서 극좌표로 표현된 복수의 가버 크기 특징 벡터들을 산출하는 과정; 및상기 가버 크기 특징 벡터들의 모임인 얼굴 그래프를 얼굴 특징 벡터로 결정하는 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 11 |
11
청구항 10에 있어서, 상기 복수의 가버 크기 특징 벡터들은,상기 정규화된 얼굴 이미지에서의 격자 구조 위치에서 추출된 가버 크기 특징 벡터들임을 특징으로 하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 12 |
12
청구항 11에 있어서, 상기 얼굴 그래프를 얼굴 특징 벡터로 추출하는 과정은,조명 영향과 상관없는 고유 얼굴 가버 공간을 생성하는 과정;상기 고유 얼굴 가버 공간에 상기 격자 구조 위치에서 추출된 가버 크기 특징 벡터를 사영시켜 데이터 크기를 줄이는 과정; 및상기 고유 얼굴 가버 공간에 사영된 가버 크기 특징 벡터들의 모임인 얼굴 그래프를 얼굴 특징 벡터로 추출하는 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 13 |
13
청구항 1에 있어서, 상기 음성 특징점 추출 과정은,평균 에너지법과 영교차율을 이용하여 전체 오디오에서 음성을 검출하는 음성 검출 과정; 및상기 추출된 음성에서 음성 특징 데이터를 추출하는 음성 특징 데이터 추출 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 14 |
14
청구항 13에 있어서, 상기 음성 검출 과정은,상기 평균 에너지법을 통하여 전체 오디오에서 유성음 영역을 검출하는 과정;상기 영교차율을 이용하여 상기 유성음 영역의 전단에 마찰음이 존재하는지를 파악하는 과정; 및상기 유성음 영역의 전단에 마찰음이 존재하는 경우 음성으로서 판단하는 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 15 |
15
청구항 13에 있어서, 상기 음성 특징 데이터 추출 과정은,상기 추출된 음성을 고속 퓨리에 변환(FFT)하는 과정;상기 고속 퓨리에 변환(FFT)된 음성 데이터에 대하여 균일 필터인 멜 필터(Mel Filter)로서 필터링하는 과정;상기 필터링된 음성 데이터의 상관 관계를 제거하는 이산 코사인 변환(DCT)하는 과정;상기 이산 코사인 변환(DCT)된 음성 데이터에 대하여 MFCC(Mixed Content Signal Classification)를 적용하여 음성 특징 데이터를 추출하는 과정; 및상기 MFCC에 적용된 각 프레임별 음성 특징 데이터의 개수를 정규화하는 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 16 |
16
청구항 1에 있어서, 상기 얼굴 유사도 산출 과정은,미리 등록된 등록 특징 벡터와, 상기 얼굴 이미지에서 추출한 얼굴 특징 벡터간의 코럴레이션 값을 얼굴 유사도로서 산출하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 17 |
17
청구항 1에 있어서 상기 음성 유사도 산출 과정은,미리 등록된 등록 특징 데이터와, 상기 음성에서 추출한 음성 특정 데이터간의 코럴레이션 값을 음성 유사도로서 산출하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 18 |
18
청구항 1에 있어서, 상기 본인 인증 과정은,상기 얼굴 유사도를 0에서 1 범위 내의 숫자로 정규화한 정규화 얼굴 유사도를 출력하며, 상기 음성 유사도를 0에서 1 범위 내의 숫자로 정규화한 정규화 음성 유사도를 출력하는 과정; 및상기 정규화 얼굴 유사도와 정규화 음성 유사도를 인공 신경망 모델에 적용시켜 본인 인증을 수행하는 인공 신경망 모델 적용 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
| 19 |
19
청구항 18에 있어서, 상기 인공 신경망 모델 적용 과정은,실험 데이터와 원하는 출력 값을 인공 신경망에 함께 입력시켜 학습시키는 학습 알고리즘을 적용하여 입력층, 은닉층, 및 출력층으로 된 인공 신경망 모델을 학습시키는 과정; 및상기 학습 알고리즘에 의해 학습된 인공 신경망 모델에 상기 정규화 얼굴 유사도 및 정규화 음성 유사도를 적용하여 본인 인증을 수행하는 과정;을 포함하는 얼굴 인식 및 화자 인식이 융합된 인증 방법
|
