맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치(User -independent Face Landmark Detection and Tracking Apparatus for Spatial Augmented Reality Interaction)

  • 기술번호 : KST2017017942
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치에 관한 것이다.또한, 본 발명에 따르면, 컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치가 제공된다.
Int. CL G06K 9/00 (2017.06.06) G06K 9/48 (2017.06.06)
CPC
출원번호/일자 1020170067150 (2017.05.30)
출원인 한국과학기술원
등록번호/일자
공개번호/일자 10-2017-0135758 (2017.12.08) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020160066655   |   2016.05.30
법적상태 등록
심사진행상태 발송처리완료
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.05.30)
심사청구항수 9

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 우운택 대한민국 대전광역시 유성구
2 장영균 대한민국 대전광역시 유성구
3 정은아 대한민국 대전광역시 유성구
4 김성실 대한민국 대전광역시 유성구
5 유정민 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인충정 대한민국 서울특별시 강남구 역삼로***,*층(역삼동,성보역삼빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국과학기술원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2017.05.30 수리 (Accepted) 1-1-2017-0517706-97
2 선행기술조사의뢰서
Request for Prior Art Search		 2017.07.11 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2017.11.22 발송처리완료 (Completion of Transmission) 9-6-2017-0169824-72
4 의견제출통지서
Notification of reason for refusal		 2018.01.02 발송처리완료 (Completion of Transmission) 9-5-2018-0003973-85
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.03.02 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0215131-84
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.03.02 수리 (Accepted) 1-1-2018-0215130-38
7 등록결정서
Decision to grant		 2018.06.21 발송처리완료 (Completion of Transmission) 9-5-2018-0421677-68
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.04.24 수리 (Accepted) 4-1-2019-5081392-49
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.05.15 수리 (Accepted) 4-1-2020-5108396-12
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.12 수리 (Accepted) 4-1-2020-5131486-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부;상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하며, 상기 얼굴 특징 검출부는 상기 영상 획득부에서 획득한 영상에서 얼굴 영역을 검출하는 얼굴 검출기;상기 얼굴 검출기에서 검출한 얼굴 영상의 컬러 영상으로부터 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 국부 이진 패턴을 산출하는 국부 이진 패턴 산출기;상기 얼굴 검출기에서 검출한 얼굴 영상의 깊이 영상으로부터 국부 표면 법선 벡터(Local Surface Normal Vector)를 생성하는 표면 법선 산출기;상기 표면 법선 산출기가 생성한 각 픽셀의 국부 표면 법선 벡터에 국부 원리(Locality Principle)를 적용하여 국부 각 패턴(LAP : Local Angular Pattern)을 산출하는 국부 각 산출기; 및 상기 국부 이진 패턴 산출기에서 산출한 국부 이진 패턴과 상기 국부 각 산출기에서 산출하는 국부 각 패턴을 결합하여 얼굴 특징을 형성하는 혼합기를 포함하고, 상기 표면 법선 산출기는 깊이 영상으로부터 3차원 객체의 기하정보를 표현하는 국부 표면 법선 벡터(Local Surface Normal Vector)를 추출할 때에 카메라 좌표계와 국부 얼굴 좌표계간의 변환을 위한 회전 행렬의 역행렬을 카메라 좌표계의 표면 접선 벡터에 적용하여 국부 얼굴 좌표계에서 국부 표면 법선 벡터를 생성하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
2 2
청구항 1항에 있어서, 상기 영상 획득부는 컬러 영상과 깊이 영상을 촬영할 수 있는 RGB-D 카메라를 구비하여 컬러 영상과 깊이 영상을 획득하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
3 3
삭제
4 4
청구항 1항에 있어서,상기 국부 이진 패턴 산출기는 얼굴 영상에 LBP(Local Binary Pattern) 기법을 적용하여 국부 이진 패턴을 산출하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
5 5
삭제
6 6
컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부;상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하며, 상기 얼굴 특징 검출부는 상기 영상 획득부에서 획득한 영상에서 얼굴 영역을 검출하는 얼굴 검출기;상기 얼굴 검출기에서 검출한 얼굴 영상의 컬러 영상으로부터 각 픽셀에 대하여 주변 픽셀들과의 밝기를 고려하여 국부 이진 패턴을 산출하는 국부 이진 패턴 산출기;상기 얼굴 검출기에서 검출한 얼굴 영상의 깊이 영상으로부터 국부 표면 법선 벡터(Local Surface Normal Vector)를 생성하는 표면 법선 산출기;상기 표면 법선 산출기가 생성한 각 픽셀의 국부 표면 법선 벡터에 국부 원리(Locality Principle)를 적용하여 국부 각 패턴(LAP : Local Angular Pattern)을 산출하는 국부 각 산출기; 및 상기 국부 이진 패턴 산출기에서 산출한 국부 이진 패턴과 상기 국부 각 산출기에서 산출하는 국부 각 패턴을 결합하여 얼굴 특징을 형성하는 혼합기를 포함하고, 상기 국부 각 산출기는 아래 수학식 4와 같이 각 픽셀에서 얻은 국부 표면 법선 벡터 vi를 피봇 국부 표면 법선 벡터 vpivot와의 내적(inner product)을 통해 사이각이 임계값(threshold) 보다 작을 경우 0, 클 경우 1 을 할당하여 국부 각 패턴을 생성하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
7 7
청구항 1항에 있어서,상기 랜드 마크 검출부는 상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하는 얼굴 토폴로지 형성기;상기 얼굴 토폴로지의 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하는 잠재 회귀 포레스트 학습기; 및 상기 얼굴 특징 산출부의 얼굴 특징을 입력값으로 했을 때 학습된 잠재 회귀 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 계산하는 인식기를 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
8 8
청구항 7항에 있어서,상기 잠재 회귀 포레스트 학습기의 잠재 회귀 포레스트는 스플리트(split) 노드, 디비전 노드 및 리프 노드로 구성되는 바이너리 트리로 정의되는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
9 9
컬러 영상과 깊이 영상을 포함하는 얼굴 영상을 획득하는 영상 획득부;상기 영상 획득부에서 획득된 얼굴 영상에서 얼굴 영역을 검출하여, 컬러 영상에서 국부 이진 패턴을 산출하고, 깊이 영상에서 국부 각 패턴을 산출하여 국부 이전 패턴과 국부 각 패턴이 결합된 얼굴 영상의 얼굴 특징을 산출하는 얼굴 특징 검출부; 및상위 얼굴 랜드마크 집합에서 하위 두 개의 집합으로 나누면서 얼굴 위상관계 트리인 얼굴 토폴로지 트리를 형성하고, 상기 얼굴 토폴로지 트리의 루트 노드와 일치하는 얼굴 전체 랜드마크를 포함하는 다수의 테스트 얼굴 영상을 가지고 학습하는 과정에서 잠재 회귀 포레스트의 각 노드에 얼굴 토폴로지 트리를 따라 얼굴 랜드마크 부분 집합을 포함하는 부분 랜드 마크 영상을 가지도록 학습하고, 상기 얼굴 특징 검출부에서 검출한 얼굴 영상의 얼굴 특징을 입력값으로 했을 때 학습된 포레스트를 순회(Traverse)하며 디비전 노드와 리프 노드에 저장된 위치값 차이를 축적하여 부분 랜드 마크의 결과값을 산출하는 랜드 마크 검출부를 포함하며, 상기 랜드 마크 검출부에서 검출된 부분 랜드 마크에서 밀도 광학 플로우와 미디언 필터링 커널을 컨볼류션하여 부분 랜드 마크의 구성 랜드 마크의 위치를 추적하는 랜드 마크 추적부를 더 포함하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
10 10
청구항 9항에 있어서,상기 랜드 마크 추적부는 구성 랜드 마크를 추적하는 동안에 주위의 구성 랜드 마크로부터 임계치를 초과한 오류 랜드 마크(outlier landmark)가 발생할 경우에 이들의 이웃 구성 랜드 마크들의 움직임 정보를 이용하여 추적 결과를 보정하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
11 11
청구항 10항에 있어서,상기 랜드 마크 추적부는 오류 랜드 마크가 발생 시, 이웃 구성 랜드 마크들의 이동 거리 및 방향의 값을 평균하고, 이를 오류 랜드 마크에 적용하여 추적을 보정하는 공간형 증강 현실에서 모델 독립형 얼굴 랜드 마크 인식 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.