맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

다중 시점 영상 기반 립 리딩 방법 및 시스템

  • 기술번호 : KST2022008469
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 다중 시점 영상 기반 립 리딩 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 립 리딩 방법은, 입술 영역을 3차원 입술 모델로 복원하고, 복원한 3차원 입술 모델을 이용하여 발화 음성을 인식한다. 이에 의해, 립 리딩을 수행함에 있어, 발화자의 영상에서 발화자의 입술 영역을 추출하여 3차원으로 복원한 후에 입술의 움직임을 보다 정확하게 판단함으로써 보다 정확도가 높은 음성 인식이 가능해진다.
Int. CL G10L 15/25 (2013.01.01) G10L 15/04 (2006.01.01) G06K 9/00 (2022.01.01) G06T 17/20 (2006.01.01) G06T 7/11 (2017.01.01)
CPC
출원번호/일자 1020210058892 (2021.05.07)
출원인 한국전자기술연구원
등록번호/일자
공개번호/일자 10-2022-0083548 (2022.06.20) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020200172865   |   2020.12.11
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 N
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자기술연구원 대한민국 경기도 성남시 분당구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박민규 서울특별시 강남구
2 김제우 경기도 성남시 분당구
3 윤주홍 세종특별자치시 갈매

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 남충우 대한민국 서울 강남구 언주로 ***, *층(역삼동, 광진빌딩)(알렉스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2021.05.07 수리 (Accepted) 1-1-2021-0528034-09
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
입술 영역을 3차원 입술 모델로 복원하는 단계; 및복원한 3차원 입술 모델을 이용하여, 발화 음성을 인식하는 단계;를 포함하는 것을 특징으로 하는 립 리딩 방법
2 2
청구항 1에 있어서,발화자 영상에서 발화자의 얼굴 영역을 추출하는 제1 추출단계; 및추출한 얼굴 영역에서 입술 영역을 추출하는 제2 추출단계;를 더 포함하고,복원 단계는,제2 추출단계에서 추출한 입술 영역을 3차원 입술 모델로 복원하는 것을 특징으로 하는 립 리딩 방법
3 3
청구항 2에 있어서,발화자 영상은,두 대 이상의 카메라를 이용하여 생성한 영상인 것을 특징으로 하는 립 리딩 방법
4 4
청구항 3에 있어서,복원 단계는,생성한 다중 시점 영상 중에서 기준 시점 영상의 각 픽셀들을 다른 시점으로 와핑(warping)하고, 와핑된 픽셀이 다른 시점 영상의 픽셀과 동일한 픽셀을 동일하지 않은 주변 픽셀에 전파하는 것을 특징으로 하는 립 리딩 방법
5 5
청구항 4에 있어서,복원 단계는,주변 픽셀에 전파한 후 백색 잡음을 추가하는 것을 특징으로 하는 립 리딩 방법
6 6
청구항 1에 있어서,인식 단계는,복원한 3차원 입술 모델에서 특징점을 추출하는 단계;추출한 특징점을 딥 러닝 네트워크에 입력하여, 발화 음성을 인식하는 단계;를 포함하는 것을 특징으로 하는 립 리딩 방법
7 7
청구항 6에 있어서,인식한 발화 음성을 텍스트로 제공하는 단계;를 더 포함하는 것을 특징으로 하는 립 리딩 방법
8 8
입술 영역을 3차원 입술 모델로 복원하고, 복원한 3차원 입술 모델을 이용하여 발화 음성을 인식하는 프로세서; 및프로세서에 필요한 저장 공간을 제공하는 저장부;를 포함하는 것을 특징으로 하는 립 리딩 시스템
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국전자기술연구원 범부처GigaKOREA사업(R＆D) (4D실감-총괄/1세부)4D 복원 및 동적 변형 거동 모델 기반의 초실감 서비스 기술 개발