맞춤기술찾기

이전대상기술

마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템

  • 기술번호 : KST2016020271
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템에 관한 것으로서, 보다 바람직하게는 얼굴검출부가 외부로부터 입력 받은 영상 내 얼굴 영역을 검출하는 단계; 마우스맵변환부가 마우스맵(mouth map)을 통해 초기 형태의 입술 영역을 변환하고, 변환된 초기 형태의 입술 영역을 앞서 검출한 상기 얼굴 영역 내 존재하는 입술 영역의 상부에 중첩시켜 적어도 하나의 랜드마크(landmark)를 생성하는 단계; 위치검색부가 상기 랜드마크에 대한 능동형태모델을 생성하기 위한 최적의 위치를 검색하는 단계; 능동형태모델 생성부가 검색된 최적의 위치로 상기 랜드마크를 이동시켜 상기 랜드마크에 대한 능동형태모델을 생성하는 단계; 및 주성분표시부가 상기 적어도 하나의 랜드마크에 대한 능동형태모델을 정렬하여 상기 능동형태모델별 주성분(principal components) 정보를 표시하는 단계; 및 영상표시부가 상기 랜드마크에 대한 능동형태모델을 영상으로 표현하여 상기 입력 받은 영상 내 입술 형태를 추정하는 단계;를 포함한다. 이러한 구성에 의해, 본 발명의 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템은 영상 속 얼굴 또는 그 일부에 대해 색차(chrominance) 성분을 이용하여 입술 등 붉은 영역이 도드라지게 하는 마우스맵을 사용하여 컬러 영상으로부터 마우스맵을 얻고, 이들 능동형태모델에 적용하여 입술 형태를 보다 정확하게 추정할 수 있는 효과가 있다.
Int. CL G06T 7/00 (2006.01)
CPC G06T 7/0002(2013.01) G06T 7/0002(2013.01) G06T 7/0002(2013.01) G06T 7/0002(2013.01) G06T 7/0002(2013.01)
출원번호/일자 1020140178965 (2014.12.12)
출원인 서강대학교산학협력단
등록번호/일자 10-1621304-0000 (2016.05.10)
공개번호/일자
공고번호/일자 (20160516) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2014.12.12)
심사청구항수 14

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서강대학교산학협력단 대한민국 서울특별시 마포구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박형민 대한민국 서울특별시 강남구
2 하주성 대한민국 경기도 안산시 단원구
3 제창수 대한민국 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인충현 대한민국 서울특별시 서초구 동산로 **, *층(양재동, 베델회관)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서강대학교산학협력단 서울특별시 마포구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2014.12.12 수리 (Accepted) 1-1-2014-1208409-92
2 선행기술조사의뢰서
Request for Prior Art Search
2015.10.12 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2015.11.10 수리 (Accepted) 9-1-2015-0072259-03
4 의견제출통지서
Notification of reason for refusal
2015.11.18 발송처리완료 (Completion of Transmission) 9-5-2015-0798656-36
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2016.01.15 수리 (Accepted) 1-1-2016-0045536-04
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2016.01.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-0045541-22
7 등록결정서
Decision to grant
2016.04.21 발송처리완료 (Completion of Transmission) 9-5-2016-0292262-62
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2017.01.11 수리 (Accepted) 4-1-2017-5005781-67
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.01.22 수리 (Accepted) 4-1-2019-5014626-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
얼굴검출부가 외부로부터 입력받은 영상 내 얼굴 영역을 검출하는 단계;마우스맵변환부가 마우스맵을 통해 초기 형태의 입술 영역을 변환하고, 변환된 초기 형태의 입술 영역을 앞서 검출한 상기 얼굴 영역 내 존재하는 입술 영역의 상부에 중첩시켜 적어도 하나의 랜드마크를 추출하는 단계;위치검색부가 상기 적어도 하나의 랜드마크를 이동시키고자 하는 복수 개의 후보 위치에 대한 특징 벡터를 추출하여 특징 벡터 모델을 생성하고, 상기 랜드마크에 대한 특징 벡터 모델과 상기 복수 개의 후보 위치에 대한 특징 벡터 모델간의 거리를 비교하여 상기 랜드마크에 대한 능동형태모델을 생성하기 위한 최적의 위치를 검색하는 단계;능동형태모델 생성부가 검색된 최적의 위치로 상기 랜드마크를 이동시켜 상기 랜드마크에 대한 능동형태모델을 생성하는 단계;주성분표시부가 상기 적어도 하나의 랜드마크에 대한 능동형태모델을 정렬하여 상기 능동형태모델별 주성분 정보를 표시하는 단계; 및영상표시부가 상기 랜드마크에 대한 능동형태모델을 영상으로 표현하여 상기 입력 받은 영상 내 입술 형태를 추정하는 단계;를 포함하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
2 2
제1항에 있어서,상기 마우스맵변환부가 적어도 하나의 랜드마크를 추출하는 단계는초기 형태의 입술 영역을 컬러 영상 형태로부터 색차 성분을 나타내는 마우스맵 영상 형태로 변환하는 과정; 및변환된 초기형태의 입술 영역을 상기 검출한 얼굴 영역 내 위치하는 입술 영역의 상부에 중첩시켜 적어도 하나의 랜드마크를 생성하는 과정;을 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
3 3
제2항에 있어서,상기 초기 형태의 입술 영역을 마우스맵 영상 형태로 변환하는 과정은입과, 상기 입의 주변 영역에 대하여 색차 성분 중 붉은 색상 성분이 크고 파란 색상 성분이 작은 곳에서 더 큰 값을 갖는 마우스맵을 이용하여 상기 얼굴 영역으로부터 입술 영역이 도드라지도록 상기 입술 영역의 형태를 변환하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
4 4
제3항에 있어서,상기 초기 형태의 입술 영역을 마우스맵 영상 형태로 변환하는 과정은상기 마우스맵에 기초하여 초기 형태의 입술 영역을 변환한 후, 상기 초기 형태의 입술 영역 중 윗입술 또는 아랫입술의 위치를 이동하는 것을 더 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
5 5
제1항에 있어서,상기 최적의 위치를 검색하는 단계는상기 랜드마크의 특징 벡터 모델과 가장 가까운 거리에 위치하는 특징 벡터 모델을 갖는 후보 위치를 상기 랜드마크의 능동형태모델을 생성하기 위한 최적의 위치로 판단하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
6 6
제1항에 있어서,상기 능동형태모델 생성부가 검색된 최적의 위치로 상기 랜드마크를 이동시켜 상기 랜드마크의 능동형태모델을 생성하는 단계는검색된 상기 최적의 위치로 상기 랜드마크를 이동시키는 과정; 상기 랜드마크의 좌표를 중심으로 하는 픽셀을 벡터로 추출하는 과정; 및추출한 상기 벡터들의 평균값 및 공분산을 연산하고 이에 기초하여 상기 랜드마크에 대한 능동형태모델을 생성하는 과정;을 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
7 7
제1항에 있어서,상기 얼굴검출부가 외부로부터 입력 받은 영상 내 얼굴 영역을 검출하는 단계는상기 입력받은 영상에 대하여 비올라 존스(Viola-Jones) 알고리즘을 수행하여 얼굴 영역을 검출하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법
8 8
제1항 내지 제7항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체
9 9
외부로부터 입력 받은 영상 내 얼굴 영역을 검출하는 얼굴검출부;마우스맵을 통해 초기 형태의 입술 영역을 변환하고, 변환된 초기 형태의 입술 영역을 앞서 검출한 상기 얼굴 영역 내 존재하는 입술 영역의 상부에 중첩시켜 적어도 하나의 랜드마크를 추출하는 마우스맵변환부;상기 적어도 하나의 랜드마크를 이동시키고자 하는 복수 개의 후보 위치에 대한 특징 벡터를 추출하여 특징 벡터 모델을 생성하는 특징벡터모델 생성모듈과, 상기 랜드마크에 대한 특징 벡터 모델과 상기 복수 개의 후보 위치에 대한 특징 벡터 모델간에 거리를 비교하는 최적위치 연산모듈을 이용하여 상기 랜드마크에 대한 능동형태모델을 생성하기 위한 최적의 위치를 검색하는 위치검색부;검색된 최적의 위치로 상기 랜드마크를 이동시켜 상기 랜드마크에 대한 능동형태모델을 생성하는 능동형태모델 생성부;상기 적어도 하나의 랜드마크에 대한 능동형태모델을 정렬하여 상기 능동형태모델별 주성분 정보를 표시하는 주성분표시부; 및상기 랜드마크에 대한 능동형태모델을 영상으로 표현하여 상기 입력 받은 영상 내 입술 형태를 추정하는 영상표시부;를 포함하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
10 10
제9항에 있어서, 상기 마우스맵변환부는초기 형태의 입술 영역을 컬러 영상 형태로부터 색차 성분을 나타내는 마우스맵 영상 형태로 변환하는 마우스맵변환모듈; 및변환된 초기형태의 입술 영역을 상기 검출한 얼굴 영역 내 위치하는 입술 영역의 상부에 중첩시켜 적어도 하나의 랜드마크를 추출하는 랜드마크추출모듈;을 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
11 11
제10항에 있어서, 상기 마우스맵변환모듈은입과, 상기 입의 주변 영역에 대하여 색차 성분 중 붉은 색상 성분이 크고 파란 색상 성분이 작은 곳에서 더 큰 값을 갖는 마우스맵을 이용하여 상기 얼굴 영역으로부터 입술 영역이 도드라지도록 상기 입술 영역의 형태를 변환한 후, 상기 초기 형태의 입술 영역 중 윗입술 또는 아랫입술의 위치를 이동하는 것을 더 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
12 12
제9항에 있어서, 상기 위치검색부는상기 랜드마크의 특징 벡터 모델과 가장 가까운 거리에 위치하는 특징 벡터 모델을 갖는 후보 위치를 상기 랜드마크의 능동형태모델을 생성하기 위한 최적의 위치로 판단하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
13 13
제9항에 있어서, 상기 능동형태모델 생성부는검색된 상기 최적의 위치로 상기 랜드마크를 이동시키는 이동모듈; 상기 랜드마크의 좌표를 중심으로 하는 픽셀을 벡터로 추출하는 벡터연산모듈; 및추출한 상기 벡터들의 평균값 및 공분산을 연산하고 이에 기초하여 상기 랜드마크에 대한 능동형태모델을 생성하는 능동형태모델 생성모듈;을 포함하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
14 14
제9항에 있어서, 상기 얼굴검출부는상기 입력받은 영상에 대하여 비올라 존스(Viola-Jones) 알고리즘을 수행하여 얼굴 영역을 검출하는 것을 특징으로 하는 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 서강대학교 산학협력단 이공분야기초연구사업 중견연구자지원사업 시청각정보를 이용한 강인한 멀티모달 음성인식 기술 개발