맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체

  • 기술번호 : KST2015131267
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를 기록한 기록매체가 개시된다.본 발명에 따른 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법은, 상기 메타데이터를 포함하는 동영상을 입력하고, 상기 입력된 동영상의 시작 프레임 및 화면 전환 프레임을 추출하는 단계, 상기 추출된 시작 프레임 및 화면 전환 프레임을 손톱 영상으로 디스플레이하고, 상기 디스플레이된 손톱 영상 및 상기 손톱 영상의 시간 정보를 저장하는 단계, 상기 입력된 동영상에 포함된 음성의 음소에 따라 화자의 음성을 인식하고, 상기 인식된 음성 데이터를 문자 데이터로 변환하고, 상기 변환된 문자데이터로부터 키워드를 추출하는 단계, 상기 입력된 동영상으로부터 자막을 검출하고, 상기 검출된 자막으로부터 자막 인식을 통하여 자막을 추출하는 단계, 사용자가 상기 디스플레이된 동영상의 시작 프레임 및 화면 전환 프레임 중 시작 샷과 끝 샷을 지정하면 상기 지정된 시작 샷, 끝 샷 및 상기 시작 샷과 끝 샷 사이의 손톱 영상에 포함된 키워드 및 자막으로부터 메타데이터와 타이틀을 추출하는 단계, 및 상기 추출된 메타데이터, 상기 시작 샷의 시간 정보, 상기 끝 샷의 시간 정보 및 상기 타이틀을 표시하는 단계를 포함한다.본 발명에 의하면, 음성 인식 결과와 동영상 자체의 개방형 자막 인식 결과인 방송 콘텐츠에 포함되어 있는 메타 데이터 정보를 자동으로 추출하고, 새로운 방송 자료들의 수작업에 의한 작업시간을 단축할 수 있으며, 과거의 방대한 양의 방송 데이터들에 대한 콘텐츠 관리 및 색인 작업을 자동으로 실행하여 방송 제작자들에게 양질의 콘텐츠를 제작할 수 있게 함으로써, 과거의 자료를 이용한 콘텐츠 제작에 소요되는 시간과 비용을 절약할 수 있도록 할 수 있을 뿐만 아니라 현재 광범위하게 적용되고 있는 인터넷 검색 사이트와 연동하여 실시간으로 제작되는 콘텐츠에 대한 멀티미디어 자료들의 검색을 가능하게 하고, 과거의 자료들에 대한 열람을 용이하게 함으로써, 사용자의 콘텐츠 사용의 편의성을 제공하는 효과가 있다.
Int. CL H04N 5/93 (2006.01) H04N 7/24 (2006.01)
CPC G06F 17/30796(2013.01) G06F 17/30796(2013.01) G06F 17/30796(2013.01) G06F 17/30796(2013.01) G06F 17/30796(2013.01) G06F 17/30796(2013.01)
출원번호/일자 1020070057478 (2007.06.12)
출원인 고려대학교 산학협력단, 한국방송공사
등록번호/일자 10-0828166-0000 (2008.04.30)
공개번호/일자
공고번호/일자 (20080508) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2007.06.12)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 대한민국 서울특별시 성북구
2 한국방송공사 대한민국 서울특별시 영등포구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 고한석 대한민국 서울 용산구
2 정석영 대한민국 서울 서대문구
3 박수인 대한민국 서울 강남구
4 윤종성 대한민국 서울 성북구
5 김동준 대한민국 서울 관악구
6 박성춘 대한민국 서울 영등포구
7 하명환 대한민국 서울 영등포구
8 김건희 대한민국 서울 도봉구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 현종철 대한민국 서울특별시 중구 다산로 **, *층 특허법인충현 (신당동, 두지빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 고려대학교 산학협력단 대한민국 서울특별시 성북구
2 한국방송공사 대한민국 서울특별시 영등포구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 특허출원서
Patent Application		 2007.06.12 수리 (Accepted) 1-1-2007-0425590-51
2 보정요구서
Request for Amendment		 2007.06.25 발송처리완료 (Completion of Transmission) 1-5-2007-0085802-53
3 [출원서등 보정]보정서(납부자번호)
[Amendment to Patent Application, etc.] Amendment(Payer number)		 2007.07.04 수리 (Accepted) 1-1-2007-0456596-40
4 선행기술조사의뢰서
Request for Prior Art Search		 2007.12.21 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search		 2008.01.15 수리 (Accepted) 9-1-2008-0003835-54
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2008.03.05 수리 (Accepted) 4-1-2008-5034712-96
7 등록결정서
Decision to grant		 2008.03.29 발송처리완료 (Completion of Transmission) 9-5-2008-0177335-11
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2009.06.09 수리 (Accepted) 4-1-2009-5111177-32
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2010.06.14 수리 (Accepted) 4-1-2010-5107212-17
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2010.06.17 수리 (Accepted) 4-1-2010-5110523-83
11 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2010.08.12 수리 (Accepted) 4-1-2010-5149278-93
12 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.02.11 수리 (Accepted) 4-1-2014-5018243-16
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2014.04.22 수리 (Accepted) 4-1-2014-5049934-62
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.10.10 수리 (Accepted) 4-1-2019-5210941-09
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
메타데이터를 포함하는 동영상을 입력하고, 상기 입력된 동영상의 시작 프레임 및 화면 전환 프레임을 추출하는 단계;상기 추출된 시작 프레임 및 화면 전환 프레임을 손톱 영상으로 디스플레이하고, 상기 디스플레이된 손톱 영상 및 상기 손톱 영상의 시간 정보를 저장하는 단계;상기 입력된 동영상에 포함된 음성의 음소에 따라 화자의 음성을 인식하고, 상기 인식된 음성 데이터를 문자 데이터로 변환하고, 상기 변환된 문자데이터로부터 키워드를 추출하는 단계;상기 입력된 동영상으로부터 자막 인식을 통하여 자막을 추출하는 단계;사용자가 상기 디스플레이된 동영상의 시작 프레임 및 화면 전환 프레임 중 시작 샷과 끝 샷을 지정하면 상기 지정된 시작 샷, 끝 샷 및 상기 시작 샷과 끝 샷 사이의 손톱 영상에 포함된 키워드 및 자막으로부터 메타데이터와 타이틀을 추출하는 단계; 및상기 추출된 메타데이터, 상기 시작 샷의 시간 정보, 상기 끝 샷의 시간 정보 및 상기 타이틀을 표시하는 단계를 포함하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
2 2
제 1 항에 있어서,상기 화자의 음성은,각각의 문장 단위로 인식되는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
3 3
제 1 항에 있어서,상기 메타데이터와 타이틀을 추출하는 단계는,상기 키워드와 자막이 일치하는 단어가 존재할 경우 상기 일치하는 단어에 가중치를 부여하고, 상기 가중치가 부여된 단어를 메타데이터로 우선적으로 추출하는 단계를 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
4 4
제 1 항에 있어서,상기 타이틀은상기 시작 샷의 자막으로 설정되는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
5 5
제 1 항에 있어서,상기 자막 인식을 통하여 자막을 추출하는 단계는, 상기 입력된 동영상의 프레임으로부터 자막 후보 영역을 검출하고, 상기 검출된 자막 후보 영역을 검증하는 단계; 및상기 검증된 자막 후보 영역으로부터 자막 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
6 6
제 5 항에 있어서,상기 자막 후보 영역은,상기 입력된 동영상에 가우시안 필러링 후 컬러도메인에서의 컬러 미분 연산자에 따른 미분연산값을 이용하여 검출된 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
7 7
제 5 항에 있어서,상기 자막 인식을 수행하는 단계는,상기 자막 후보 영역을 제1차 동적 문턱값 및 제2차 동적 문턱값을 이용하여 이진화를 수행하는 단계; 및상기 이진화된 자막 후보 영역에 존재하는 자막을 글자 단위 분리 및 자소 분리를 수행한 후, 각각 자소 분리된 자소를 인식하고, 상기 인식된 자소에 따라 글자 단위로 자막을 인식하는 단계를 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
8 8
제 1 항에 있어서,상기 메타데이터와 타이틀을 추출하는 단계는,상기 자막과 키워드를 융합하여 메타데이터를 추출하되, 상기 자막이 문장형으로 추출될 경우 상기 자막 중 명사인 단어를 자막으로 추출하는 하는 단계를 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
9 9
제 1 항에 있어서,상기 변환된 문자데이터로부터 키워드를 추출하는 단계는,단어에 대한 중요도를 판단하는 핵심어 후보 단어를 포함하는 데이터베이스를 구성하는 단계; 및상기 동영상에서의 상기 변환된 문자 데이터의 빈도 수와 상기 구성된 데이터베이스에서의 상기 변환된 문자 데이터의 빈도 수에 따라 상기 키워드를 추출하는 단계를 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
10 10
제 1 항에 있어서,상기 동영상은 MPEG-2 표준에 따른 동영상을 포함하는 것을 특징으로 하는 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출 방법
11 11
동영상을 입력하고, 상기 입력된 동영상의 시작 프레임 및 화면 전환 프레임을 추출하는 하여 상기 시작 프레임 및 화면 전환 프레임을 손톱 영상으로 디스플레이하고, 상기 디스플레이된 손톱 영상 및 상기 손톱 영상의 시간 정보를 저장하는 단계;상기 입력된 동영상에 포함된 음성의 음소에 따라 화자의 음성을 인식하고, 상기 인식된 음성 데이터를 문자 데이터로 변환하고, 상기 변환된 문자데이터로부터 키워드를 추출하는 단계;상기 입력된 동영상으로부터 자막을 검출하고, 상기 검출된 자막으로부터 자막 인식을 통하여 자막을 추출하는 단계;상기 디스플레이된 동영상의 시작 프레임 및 화면 전환 프레임 중 시작 샷과 끝 샷을 지정하여 상기 지정된 시작 샷과 끝 샷 사이의 지정 동영상에 포함된 키워드 및 자막으로부터 메타데이터와 타이틀을 추출하고, 상기 추출된 메타데이터, 상기 시작 샷의 시간 정보, 상기 끝 샷의 시간 정보 및 상기 타이틀을 포함하는 동영상 데이터를 디스플레이하는 단계;상기 디스플레이된 동영상 데이터를 XML 문서로 저장하는 단계; 및특정 사용자가 탐색하고자 하는 검색어를 입력하면, 상기 XML 문서로 저장된 동영상의 저장 시간, 타이틀, 재생 길이 및 메타데이터를 출력하는 단계를 포함하는 메타데이터를 이용한 동영상 탐색 방법
12 12
제 11 항에 있어서,상기 자막 인식을 통하여 자막을 추출하는 단계는, 상기 동영상의 프레임 중 특정 영역을 자막 후보 영역으로 설정하는 단계;상기 설정된 자막 후보 영역에 대하여 영상 프레임에 포함된 문자를 검출하는 단계; 및검출된 문자로부터 자막을 추출하고, 상기 추출된 자막으로부터 명사인 단어를 추출하는 단계를 포함하는 것을 특징으로 하는 메타데이터를 이용한 동영상 탐색 방법
13 13
제 11 항에 있어서,상기 변환된 문자데이터로부터 키워드를 추출하는 단계는,단어에 대한 중요도를 판단하는 핵심어 후보 단어를 포함하는 데이터베이스를 구성하는 단계; 및상기 동영상에서의 상기 변환된 문자 데이터의 빈도 수와 상기 구성된 데이터베이스에서의 상기 변환된 문자 데이터의 빈도 수에 따라 상기 키워드를 추출하는 단계를 포함하는 것을 특징으로 하는 메타데이터를 이용한 동영상 탐색 방법
14 14
제 11 항에 있어서,상기 XML 문서는 MPEG-7의 표준에 따른 문서를 포함하는 것을 특징으로 하는 메타데이터를 이용한 동영상 탐색 방법
15 15
제 11 항에 있어서,상기 타이틀은,상기 시작 샷의 자막으로 설정되는 것을 특징으로 하는 메타데이터를 이용한 동영상 탐색 방법
16 16
제 1 항 내지 제 15 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.