맞춤기술찾기

이전대상기술

정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치(Method and Apparatus for Detecting Carelessness of Driver Using Restoration of Front Face Image)

  • 기술번호 : KST2017005793
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 단계, 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계, 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계, 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계, 그리고 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계를 포함한다. 본 발명에 의하면, 정면 얼굴 영상을 이용하게 운전자의 부주의를 보다 효과적으로 검출할 수 있게 된다.
Int. CL G06K 9/00 (2006.01.01) B60K 28/06 (2006.01.01) B60W 40/08 (2006.01.01) G06T 5/00 (2006.01.01)
CPC G06K 9/00268(2013.01) G06K 9/00268(2013.01) G06K 9/00268(2013.01) G06K 9/00268(2013.01) G06K 9/00268(2013.01)
출원번호/일자 1020150125472 (2015.09.04)
출원인 (주) 이즈테크놀로지, 국민대학교산학협력단
등록번호/일자
공개번호/일자 10-2017-0028631 (2017.03.14) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.07.11)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 (주) 이즈테크놀로지 대한민국 경기도 성남시 분당구
2 국민대학교산학협력단 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 윤상민 대한민국 서울특별시 서대문구
2 심상현 대한민국 경기도 성남시 분당구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인명인 대한민국 서울특별시 강남구 테헤란로*길 **, *층(역삼동, 두원빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.09.04 수리 (Accepted) 1-1-2015-0862122-67
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2015.09.23 수리 (Accepted) 1-1-2015-0926518-12
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2016.03.14 수리 (Accepted) 4-1-2016-5032192-73
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2016.06.15 수리 (Accepted) 4-1-2016-5078769-73
5 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2016.07.11 수리 (Accepted) 1-1-2016-0670026-13
6 선행기술조사의뢰서
Request for Prior Art Search
2017.02.28 수리 (Accepted) 9-1-9999-9999999-89
7 선행기술조사보고서
Report of Prior Art Search
2017.03.28 발송처리완료 (Completion of Transmission) 9-6-2017-0045658-14
8 의견제출통지서
Notification of reason for refusal
2017.04.01 발송처리완료 (Completion of Transmission) 9-5-2017-0236379-37
9 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2017.06.01 무효 (Invalidation) 1-1-2017-0523973-56
10 보정요구서
Request for Amendment
2017.06.13 발송처리완료 (Completion of Transmission) 1-5-2017-0079880-53
11 무효처분통지서
Notice for Disposition of Invalidation
2017.07.04 발송처리완료 (Completion of Transmission) 1-5-2017-0091460-73
12 거절결정서
Decision to Refuse a Patent
2017.11.29 발송처리완료 (Completion of Transmission) 9-5-2017-0833941-80
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.05.07 수리 (Accepted) 4-1-2020-5101952-91
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 단계,상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계,상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계, 상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계, 그리고상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
2 2
제 1 항에서,상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 단계는,미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하는 단계, 그리고상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
3 3
제 2 항에서,상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 단계는,상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
4 4
제 2 항에서,상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 단계는,상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
5 5
제 4 항에서,상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 단계는,각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
6 6
제 1 항에서,상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 단계는,상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하는 단계, 그리고상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출하는 단계를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법
7 7
카메라에서 촬영된 입력 얼굴 영상으로부터 얼굴의 후보 영역을 검출하는 얼굴 후보 영역 검출부,상기 검출된 얼굴의 후보 영역에서 ASM(Active Shape Model)을 기반으로 얼굴의 특징점을 추출하는 얼굴 특징점 추출부,상기 추출된 얼굴의 특징점을 분석하여 얼굴의 회전 각도를 추출하는 얼굴 회전 각도 추출부, 상기 추출된 얼굴의 회전 각도 및 PCA(Principal Component Analysis)를 기반으로 상기 입력 얼굴 영상에 대한 복원을 수행하여 정면 얼굴 영상을 생성하는 정면 얼굴 영상 생성부, 그리고상기 정면 얼굴 영상을 이용하여 운전자의 부주의를 검출하는 운전자 부주의 검출부를 포함하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
8 8
제 7 항에서,상기 얼굴 특징점 추출부는,미리 저장된 좌/우/상/하/정면 얼굴의 학습을 통한 훈련 영상으로부터 얼굴 평균 영상을 구하고, 상기 ASM(Active Shape Model)을 기반으로 상기 입력 얼굴 영상과 상기 얼굴 평균 영상의 차이를 조정하여 상기 얼굴의 특징점을 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
9 9
제 8 항에서,상기 얼굴 회전 각도 추출부는,상기 추출된 얼굴의 특징점 및 미리 저장된 훈련 영상의 특징점을 비교하여 상기 입력 얼굴 영상이 상기 정면 얼굴 영상으로부터 얼마만큼 회전되었는지를 나타내는 상기 얼굴의 회전 각도를 추출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
10 10
제 8 항에서,상기 정면 얼굴 영상 생성부는,상기 추출된 얼굴의 회전 각도를 기반으로 상기 입력 얼굴 영상과 미리 저장된 정면 얼굴의 훈련 영상에 대한 차이 영역을 구하고, 상기 구해진 차이 영역에 대하여 PCA를 기반으로 복원을 수행하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
11 11
제 10 항에서,상기 정면 얼굴 영상 생성부는,각 포즈마다 훈련 영상의 평균 벡터를 계산하고, 각 포즈마다 하나의 열 벡터로 표현된 훈련 영상과 상기 훈련 영상의 평균 벡터의 차이로부터 공분산 행렬을 구하고, 상기 구해진 공분산 행렬로부터 고유 벡터를 구하고, 상기 구해진 고유 벡터를 이용하여 상기 입력 얼굴 영상을 상기 정면 얼굴 영상으로 변환하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
12 12
제 7 항에서,상기 운전자 부주의 검출부는,상기 정면 얼굴 영상으로부터 눈의 특징점 및 얼굴의 기울기를 추출하고, 상기 추출된 눈의 특징점 및 상기 얼굴의 기울기를 기초로 운전자의 시선을 추출하여 운전자의 부주의를 검출하는 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 (주)와이즈오토모티브 SW융합형 부품 기술개발사업 운전자 상태 정보(3종 이상)와 주행환경 분석을 통한 Connectivity 기반의 개인 맞춤 지능형 통합 Cockpit 모듈 개발