| 1 |
1
자동차 운전 환경 설정을 수행하는 자동차환경 설정부(100); 기 인식된 운전자의 평상 시 안면 특징에 대한 깊이 값 변화 발생 시 유사 상황으로 판단하는 알고리즘이 내재된 졸음운전 감지부(200); 깊이정보 기반의 안면 인식부(300);로 구성되고,상기 안면 인식부(300)는 안면특징 깊이정보 저장용 안면 저장부(310); 안면깊이영상 촬영용 깊이영상 촬영부(320); 깊이값 오차보정용 깊이영상 보정부(330); 깊이영상 안면부분 추출용 안면검출부(340); 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상 변환부(350); 깊이영상 안면특징 추출용 안면특징 추출부(360); 상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징 비교부(370); 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치 판정부(380);로 구성되며,상기 깊이영상 변환부(350)는 상기 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출부(341); 상기 깊이정보 산출부(341)에서 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환부(342); 상기 좌표 변환부(342)에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터 산출부(343); 상기 국소법선벡터 산출부(343)에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출부(344); 영상의 회전축과 사이 각을 계산하여 회전행렬을 구하고, 촬영 영상의 깊이 값과 상기 안면 저장부(310)에서의 기준 깊이 값을 이용하여 평행이동 행렬을 구하여 이를 조합하여 변환 행렬을 구하는 변환행렬 계산부(345); 상기 변환 행렬을 이용하여 변환을 적용하여 영상 내의 안면을 상기 안면 저장부(310)와 비교할 수 있게 정렬하는 변환 적용부(346);로 구성되는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법에 있어서,자동차 운전환경을 설정하는 자동차 환경설정 단계;영상의 깊이정보를 이용하여 운전자의 안면을 인식하는 단계; 상기 운전자의 안면에 대한 이전 영상과 현재 운전자의 안면 영상의 깊이 값이 변화할 경우 졸음운전으로 판단하는 단계;상기 졸음운전으로 판단하는 경우, 알람음과 같은 위험 경보를 전파하기 위한 알람 경보부(210)를 포함하고 상기 졸음운전에 대한 판단 요소에는 안면이 불규칙하게 움직이는 동작, 눈꺼풀의 닫힘, 하품을 하는 입에 대한 깊이 값이 변화되는 것을 감지하며,상기 안면을 인식하는 단계는 안면깊이영상 촬영용 깊이영상 촬영하는 단계; 깊이값 오차보정용 깊이영상 보정하는 단계; 깊이영상 안면부분 추출용 안면을 검출하는 단계; 영상회전 신축 변환 및 영상촬영거리에 따른 안면영상 신축 및 안면 정렬용 깊이영상을 변환하는 단계; 깊이영상 안면특징 추출용 안면특징을 추출하는 단계;상기 안면 저장부(310)에 저장된 데이터와 비교하는 안면특징을 비교하는 단계; 저장된 데이터와의 비교결과에서 인물 일치도를 판정하는 인물 일치여부를 판정하는 단계로 구성되며,상기 깊이영상을 변환하는 단계는 상기 깊이영상 촬영단계에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 깊이정보 산출하는 단계; 상기 깊이정보 산출 단계에서 산출된 깊이정보를 이용하여 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 좌표 변환단계;상기 좌표 변환단계에서 계산된 각 화소의 주변정보를 이용하여 상기 화소의 국소적 법선벡터를 계산하는 국소법선벡터를 산출하는 단계;상기 국소법선벡터 산출단계에서 얻어진 국소적 법선벡터를 이용하여 전체 평면의 법선벡터를 구하는 평면법선벡터 산출단계; 깊이영상의 회전축과 사이 각을 계산하여 회전행렬을 구하는 변환행렬을 계산하는 단계; 상기 변환행렬을 이용하여 변환을 적용하는 변환 적용하는 단계로 구성되고,상기 안면 인식부(300)에서 운전자 안면을 인식하는데 실패했을 때에는 상기 알람 경보부(210)에서 재촬영을 요구하는 알람음이 1차 송출되고 상기 안면 저장부(310)에 기 저장된 운전자가 아닌 것으로 확인되었을 때에는 자동차 도난 상황으로 간주하여 상기 알람 경보부(210)에서 알람음이 2차 송출되는 동시에 기 설정된 연락처로 경고 메시지를 발송하며,안경 착용자가 깊이영상 촬영 대상일 경우에 안경테의 특성은 안면의 평균 깊이보다 그 깊이 값이 작다는 점을 이용하여 안경테를 안면의 영역과 구분할 수 있고, 또한, 안경테의 영역을 주변 깊이 값으로 보간함으로써 깊이영상에서 안경테 영역을 제거한 영상을 획득할 수 있는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법
|
| 2 |
2
제 1 항에 있어서, 상기 좌표 변환하는 단계는 상기 깊이영상 촬영부(320)를 통해 평면을 촬영하여 깊이영상에서의 화소 위치 P(x, y)와 상기 P(x, y)에서의 깊이 값인 D(x, y)를 얻고 상기 깊이영상 촬영부(320)의 초점을 원점으로 하여 상기 깊이영상 촬영부(320)의 정면 광학축 방향을 z축으로 하는 상기 깊이영상 촬영부(320) 좌표계로 변환하고, 상기 국소법선벡터 산출부(343)는 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x, y+1), Pc(x, y-1)와 좌우에 위치한 점들의 상기 깊이영상 촬영부(320) 좌표계에서의 위치정보 Pc(x+1, y), Pc(x-1, y)를 토대로 두 개의 벡터 v1= Pc(x+1, y)- Pc(x-1, y), v2= Pc(x, y+1)- Pc(x, y-1)를 생성하고 Nxy=v1×v2의 관계를 통해 두 벡터의 외적을 구하여 상기 P(x, y)에서의 국소적인 법선벡터 Nxy를 구하며, 상기 평면법선벡터 산출부(344)는 상기 국소법선벡터 산출부(343)에서 구해진 각 화소의 국소적 법선벡터를 더하여 평면영역에서의 법선벡터 N을 구하고 상기 변환 적용부(346)에서 상기 깊이영상 촬영부(320)로 촬영한 영상을 회전변환을 통해 평면의 상기 법선벡터 N을 z축에 평행하게 하고 평면영상을 xy평면에 평행한 영상으로 보정하여 원근왜곡을 제거하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법
|
| 3 |
3
제 1 항에 있어서, 깊이영상 변환부(350)에서 안면 정렬 방법은, 깊이영상 촬영부(320)에서 촬영된 평면에 대한 영상에서 깊이정보를 산출하는 단계(s341); 산출된 깊이정보를 이용하여 각 화소의 상기 깊이영상 촬영부(320) 좌표계에서의 위치를 계산하는 단계(s342); 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계(s343); 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계(s344); 영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 단계(s345); 회전 변환을 적용하여 상기 깊이영상 촬영부(320)의 위치에 따른 영상의 왜곡을 보정하는 단계(s346);를 포함하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법
|
| 4 |
4
제 1 항에 있어서, 상기 안면을 검출하는 단계는 깊이 값을 이용한 안면 검출 시 깊이영상 촬영부(320)에서 인물을 촬영하고 깊이 값에 따른 라벨링을 통해 영역을 분리하게 되며 상기 안면은 상기 깊이영상 촬영부(320)와 지근거리에 위치한 것에 기인한 평균 깊이 값 차이로 인하여 상기 안면에 대해서만 분리 가능하고, 안면 검출부(340)로 안면 검출 후 안면 저장부(310)에 저장된 안면의 특징을 비교하기 위하여 안면특징 추출부(360);로 추출하고 여기서 추출되는 안면의 특징은 안면 윤곽선, 눈/코/입의 깊이 값과 위치, 턱의 모양, 광대뼈의 높이, 눈썹뼈의 높이, 코의 높이, 얼굴 폭이 되는 것을 특징으로 하며, 상기 안면 저장부(310)에 저장된 각 인물의 특징 데이터를 안면특징 비교부(370)에서 비교 작업을 수행하여 비교 결과가 일정 유사도 이하일 경우에는 인물 일치 판정부(380)에서 특정 인물이 아닌 것으로 판단하고, 상기 안면특징 비교부(370)에서 비교 작업을 수행하여 모든 특징이 일치하는 것으로 확인되면 상기 인물일치 판정부(380)에서 특정 인물이라고 판단하는 것을 특징으로 하는 영상의 깊이정보를 이용하는 자동차제어시스템의 제어방법
|
