맞춤기술찾기

이전대상기술

스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치

  • 기술번호 : KST2015092299
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치가 개시된다. 본 발명의 일실시예에 따른 스테레오 카메라 기반의 3차원 얼굴 복원 방법은, 영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 자연수)의 영상을 획득하는 단계와, 상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 단계, 및 상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 단계를 포함한다.
Int. CL H04N 13/20 (2018.01.01) G06T 7/00 (2017.01.01)
CPC
출원번호/일자 1020140014664 (2014.02.10)
출원인 한국전자통신연구원
등록번호/일자 10-2135770-0000 (2020.07.14)
공개번호/일자 10-2015-0093972 (2015.08.19) 문서열기
공고번호/일자 (20200720) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.10.17)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김갑기 대한민국 대전광역시 서구
2 윤승욱 대한민국 대전광역시 유성구
3 황본우 대한민국 대전광역시 유성구
4 임성재 대한민국 대전광역시 유성구
5 전혜령 대한민국 대전광역시 유성구
6 최진성 대한민국 대전광역시 유성구
7 구본기 대한민국 대전광역시 유성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 무한 대한민국 서울특별시 강남구 언주로 ***, *층(역삼동,화물재단빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2014.02.10 수리 (Accepted) 1-1-2014-0125858-75
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
3 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2018.10.17 수리 (Accepted) 1-1-2018-1020814-65
4 선행기술조사의뢰서
Request for Prior Art Search
2019.01.21 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2019.03.14 수리 (Accepted) 9-1-2019-0011874-47
6 의견제출통지서
Notification of reason for refusal
2019.11.30 발송처리완료 (Completion of Transmission) 9-5-2019-0866387-26
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2020.01.20 수리 (Accepted) 1-1-2020-0065268-58
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.01.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0065266-67
9 등록결정서
Decision to grant
2020.05.12 발송처리완료 (Completion of Transmission) 9-5-2020-0326887-46
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 4 이상의 자연수)의 영상을 동시에 획득하는 단계 -상기 복수의 스테레오 카메라 각각은, 복수의 디지털 일안반사식(digital single-lens reflex, DSLR) 카메라를 포함함-;상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 단계;상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 단계;상기 시점별 얼굴 영상에서 설정된 오차 범위를 초과하는 지점의 3차원 좌표 값 또는 변위 값에 기초하여 오류 추정 정점을 결정하는 단계;상기 시점별 얼굴 영상으로부터, 상기 오류 추정 정점을 제거하는 단계; 및상기 오류 추정 정점이 제거된 시점별 얼굴 영상을 정합 처리하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
2 2
제1항에 있어서,상기 시점별 얼굴 영상을 복원하는 단계는,상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵(disparity map)을 생성하는 단계; 및상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
3 3
삭제
4 4
제1항에 있어서,상기 오류 추정 정점을 제거하는 단계는,제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 상기 변위 값을 구하는 단계;상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교하는 단계; 및상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 상기 설정된 오차 범위를 초과하는 경우, 상기 제2 얼굴 영상으로부터 상기 대응점을 제거하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
5 5
제1항에 있어서,상기 오류 추정 정점을 제거하는 단계는,상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 시점별 얼굴 영상으로부터 상기 설정된 오차 범위를 초과하는 상기 변위 값 또는 상기 3차원 좌표 값을 갖는 지점을 식별하는 단계; 및상기 시점별 얼굴 영상으로부터 상기 식별된 지점을 제거하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
6 6
제1항에 있어서,상기 정합 처리하는 단계는,상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하는 단계;상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하는 단계; 및상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
7 7
제6항에 있어서,상기 하나의 얼굴 영상이 되도록 병합하는 단계는,상기 병합되는 각 시점별 얼굴 영상 간 겹치는 영역을, 평균 값으로 병합하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
8 8
제1항에 있어서,상기 영상을 동시에 획득하는 단계는,상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하는 단계; 및상기 스테레오 카메라 별로 동시 촬상된 각 영상을, 식별정보와 연관시켜 메모리에 보관 유지하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
9 9
제1항에 있어서,상기 영상 획득 요청은,유무선 장비를 이용한 하드웨어 방식 또는 PC 화면 상에서 버튼 클릭을 통한 소프트웨어 방식으로 발생되는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
10 10
제1항에 있어서,상기 얼굴 영역을 추출하는 단계는,상기 각 스테레오 카메라 별 가이드 라인을 기준으로, 상기 영상에 포함된 배경 영역을 모델링하는 단계; 및상기 모델링을 통해 획득된 영역으로부터 제1 배경 부분을 제거하여, 상기 얼굴 영역을 추출하는 단계를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
11 11
제10항에 있어서,상기 얼굴 영역을 추출하는 단계는,상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 제1 배경 부분을 제거한 나머지 영역에 포함되는 제2 배경 부분을 더 제거하는 단계; 또는상기 제거된 제1 배경 부분에 포함되는 얼굴 부분을, 상기 나머지 영역에 추가하여, 상기 얼굴 영역을 추출하는 단계를 더 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
12 12
제1항에 있어서,상기 추출된 얼굴 영역에 대해, 마스크 이미지를 생성하는 단계를 더 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 방법
13 13
삭제
14 14
영상 획득 요청에 따라, 복수의 스테레오 카메라를 제어하여, 피촬영자에 대한 n개(상기 n은 4 이상의 자연수)의 영상을 동시에 획득하는 획득부 -상기 복수의 스테레오 카메라 각각은, 복수의 디지털 일안반사식(DSLR) 카메라를 포함함-;상기 n개의 영상 각각으로부터, n개의 얼굴 영역을 추출하는 추출부;상기 n개의 얼굴 영역을 이용하여, 시점별 얼굴 영상을 복원하는 복원부; 및상기 시점별 얼굴 영상에서 설정된 오차 범위를 초과하는 지점의 3차원 좌표 값 또는 변위 값에 기초하여 오류 추정 정점을 결정하고, 상기 시점별 얼굴 영상으로부터, 오류 추정 정점을 제거하고, 상기 오류 추정 정점이 제거된 상기 시점별 얼굴 영상을 정합 처리하는 정합부를 포함하는 복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
15 15
제14항에 있어서,상기 복원부는,상기 영상의 획득이 이루어진 스테레오 카메라에 관한 변위 맵(disparity map)을 생성하고, 상기 변위 맵을 이용하여, 상기 시점별 얼굴 영상에서 상기 얼굴 영역이 위치하는 3차원 좌표 값을 생성하는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
16 16
삭제
17 17
제14항에 있어서,상기 정합부는,제1 얼굴 영상과 시점이 상이한 제2 얼굴 영상으로부터, 상기 제1 얼굴 영상 내 임의의 지점에 대한 대응점 및 상기 대응점에서의 상기 변위 값을 구하고,상기 변위 값을, 상기 제2 얼굴 영상으로부터 식별되는 주변 대응점에서의 변위 값과 비교하고,상기 변위 값 및 상기 주변 대응점에서의 각 변위 값의 차가, 상기 설정된 오차 범위를 초과하는 경우, 상기 제2 얼굴 영상으로부터 상기 대응점을 제거하는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
18 18
제14항에 있어서,상기 정합부는,상기 피촬영자의 얼굴 형태 정보를 이용하여, 상기 시점별 얼굴 영상으로부터 상기 설정된 오차 범위를 초과하는 상기 변위 값 또는 상기 3차원 좌표 값을 갖는 지점을 식별하고, 상기 시점별 얼굴 영상으로부터 상기 식별된 지점을 제거하는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
19 19
제14항에 있어서,상기 정합부는,상기 시점별 얼굴 영상을, 하나의 얼굴 영상이 되도록 병합하고, 상기 복수의 스테레오 카메라가 갖는 시야 부분과 비시야 부분을 이용하여, 상기 병합된 얼굴 영상에 대한 질감 지도를 생성하고, 상기 생성된 질감 지도에 대해, 전체 톤을 일치하도록 처리하는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
20 20
제14항에 있어서,상기 획득부는,상기 복수의 스테레오 카메라 각각의 종류 별로 동기 신호를 발생시켜, 상기 복수의 스테레오 카메라에서 상기 피촬영자에 대한 영상을 동시 촬상하도록 제어하고, 상기 스테레오 카메라 별로 동시 촬상된 각 영상을, 식별정보와 연관시켜 메모리에 보관 유지하는복수의 스테레오 카메라에 의해 촬상된 영상으로부터의 3차원 얼굴 복원 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10043278 US 미국 FAMILY
2 US20150228081 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US10043278 US 미국 DOCDBFAMILY
2 US2015228081 US 미국 DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 한국전자통신연구원 산업원천기술개발사업 학습자 참여형 인터랙션 3D 입체 가상체험 학습 콘텐츠 기술 개발