맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

장면 이해를 통해 비디오 요약을 생성하는 방법 및 이를 위한 시스템

  • 기술번호 : KST2021002937
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 실시예들은 사용자의 질의를 수신하는 단계; 소스 비디오를 객체 기반 분석하는 단계; 및 사용자의 비디오 요약 생성 요청에 응답하여 요약 비디오를 생성하는 단계를 포함한 비디오 요약 생성 방법 및 이를 위한 시스템과 관련된다. 실시예들에 의해 생성된 비디오 요약에는 사용자가 원하는 상관관계가 반영된다.
Int. CL H04N 21/8549 (2011.01.01) G06T 7/20 (2017.01.01) G06K 9/00 (2006.01.01)
CPC H04N 21/8549(2013.01) G06T 7/20(2013.01) G06K 9/00751(2013.01)
출원번호/일자 1020190114149 (2019.09.17)
출원인 한국과학기술연구원
등록번호/일자
공개번호/일자 10-2021-0032745 (2021.03.25) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.09.17)
심사청구항수 42

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국과학기술연구원 대한민국 서울특별시 성북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김익재 서울특별시 성북구
2 최희승 서울특별시 성북구
3 김학섭 서울특별시 성북구
4 양윤식 서울특별시 성북구
5 채승호 서울특별시 성북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김 순 영 대한민국 서울특별시 종로구 종로*길 **, **층 케이씨엘특허법률사무소 (수송동, 석탄회관빌딩)
2 김영철 대한민국 서울특별시 종로구 종로*길 **, **층 케이씨엘특허법률사무소 (수송동, 석탄회관빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2019.09.17 수리 (Accepted) 1-1-2019-0949025-47
2 선행기술조사의뢰서
Request for Prior Art Search		 2020.04.10 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2020.06.11 발송처리완료 (Completion of Transmission) 9-6-2020-0113331-12
4 의견제출통지서
Notification of reason for refusal		 2020.08.11 발송처리완료 (Completion of Transmission) 9-5-2020-0550401-25
5 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2020.10.12 수리 (Accepted) 1-1-2020-1072893-62
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.10.12 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-1072892-16
7 최후의견제출통지서
Notification of reason for final refusal		 2021.02.01 발송처리완료 (Completion of Transmission) 9-5-2021-0094645-18
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
 2021.02.08 수리 (Accepted) 1-1-2021-0156799-26
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2021.02.08 수리 (Accepted) 1-1-2021-0156800-96
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
비디오 요약 생성 시스템에 있어서, 하나 이상의 객체를 포함한 소스 비디오에서 적어도 하나의 소스 객체를 검출하는 소스 객체 검출부; 소스 비디오에서 소스 객체의 움직임을 검출하는 움직임 검출부; 움직임이 검출된 소스 객체를 포함한 소스 객체의 튜브를 생성하는 튜브 생성부; 상기 튜브의 소스 객체에 연관된 상관관계를 결정하는 장면 이해부; 및결정된 상관관계에 연관되는 소스 객체의 튜브에 기초하여 비디오 요약을 생성하는 비디오 요약 생성부를 포함하는 비디오 요약 생성 시스템
2 2
제1항에 있어서, 상기 소스 객체 검출부는, 객체 검출 모델을 통해 소스 객체를 검출하며, 상기 객체 검출 모델은 입력 영상으로부터 객체를 검출하기 위한 특징을 추출하여 입력 영상에 포함된 객체에 대응하는 클래스를 결정하도록 미리 학습된 것을 특징으로 하는 비디오 요약 생성 시스템
3 3
제2항에 있어서, 상기 객체 검출 모델은, 상기 입력 영상 내 객체가 위치하는 것으로 제안되는 영역을 설정하고, 설정된 영상에서 상기 특징을 추출하여 상기 영역 내 객체의 클래스를 결정하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
4 4
제2항에 있어서, 상기 객체 검출 모델은, 상기 입력 영상에서 객체를 검출하기 위한 특징을 추출하고 각 픽셀이 속하는 클래스를 결정함으로써, 소스 객체를 검출하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
5 5
제4항에 있어서, 상기 객체 검출 모델은, 상기 입력 영상 내 객체의 위치를 검출하여 관심영역을 결정하는 제1 서브 모델; 및 상기 관심영역에 포함된 객체를 마스킹하는 제2 서브 모델을 포함하는 것을 특징으로 하는 비디오 요약 생성 시스템
6 6
제1항에 있어서, 상기 소스 객체 검출부는, 상기 소스 비디오에서 배경을 추출하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
7 7
제6항에 있어서, 상기 소스 객체 검출부는, 배경으로 간주되는 하나 이상의 클래스를 각 픽셀별로 결정하는 배경 검출 모델을 통해 배경을 추출하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
8 8
제6항에 있어서, 상기 소스 객체 검출부는, 상기 소스 비디오에서 소스 객체가 차지하는 영역을 절단(cut)함으로써 배경을 추출하는 것을 특징으로 하는 비디오 요약 생성 시스템
9 9
제6항에 있어서, 추출된 소스 비디오의 배경을 저장하는 배경 DB를 더 포함하는 것을 특징으로 하는 비디오 요약 생성 시스템
10 10
제1항에 있어서, 상기 움직임 검출부는, 특정 소스 객체가 검출된 프레임의 서브 세트에서 상기 특정 객체를 추적하여 소스 객체의 추적 정보를 산출하도록 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
11 11
제1항에 있어서, 상기 소스 객체의 추적 정보는, 추적 정보추적 정보움직임 여부, 속도(velocity), 속력(speed), 및 방향(direction) 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 요약 생성 시스템
12 12
제1항에 있어서, 상기 튜브 생성부는, 소스 객체의 액티비티를 나타낸 프레임의 서브세트, 또는 소스 객체의 액티비티를 나타낸 프레임의 서브세트와 소스 객체를 나타낸 프레임의 서브세트의 조합에 기초하여 소스 객체의 튜브를 생성하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
13 13
제12항에 있어서, 상기 튜브 생성부는, 상기 소스 비디오의 프레임 내 소스 객체를 포함한 영역을 필터링하고,상기 소스 비디오의 배경의 적어도 일부가 제거된 소스 객체의 튜브를 생성하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
14 14
제13항에 있어서, 상기 튜브 생성부는, 상기 소스 객체의 검출 결과 상기 소스 객체를 포함한 영상 영역이 추출된 경우, 필터링을 대신하여 상기 추출된 영상 영역으로 상기 소스 객체의 튜브를 생성하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
15 15
제1항에 있어서, 상기 장면 이해부는, 입력 영상에 포함된 객체에 연관된 상관관계를 결정하도록 미리 학습된 상관관계 결정 모델을 통해 상기 튜브의 소스 객체에 연관된 상관관계를 결정하도록 구성되며, 상기 상관관계 결정 모델은 컨볼루션 네트워크(convolution network)를 포함한 것을 특징으로 하는 비디오 요약 생성 시스템
16 16
제15항에 있어서, 상기 상관관계 결정 모델은, 상기 상관관계를 야기하는 동작(action)의 주체로서 객체에 연관 가능한 상관관계 클래스가 미리 지정되도록 학습된 것을 특징으로 하는 비디오 요약 생성 시스템
17 17
제16항에 있어서, 상기 상관관계 결정 모델은, 제1 객체를 포함한 크기를 갖는 영상을 입력 영상으로 수신하여 제1 특징을 추출하고, 상기 제1 객체를 포함한 영역 및 다른 영역을 포함한 크기를 갖는 영상을 입력 영상으로 수신하여 제2 특징을 추출하며, 상기 제1 특징 및 제2 특징에 기초하여 상기 제1 객체에 연관된 상관관계를 결정하도록 더 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
18 18
제17항에 있어서, 상기 다른 영역은 상기 제1 객체와 상이한 제2 객체를 포함한 영역 또는 배경을 포함한 것을 특징으로 하는 비디오 요약 생성 시스템
19 19
제17항에 있어서, 상기 제1 특징은, 상기 소스 객체를 검출하기 위해 추출된 특징인 것을 특징으로 하는 비디오 요약 생성 시스템
20 20
제15항에 있어서, 상기 상관관계 결정 모델은, 상관관계를 야기하는 동작의 주체인 특정 객체의 행동을 검출하고, 상기 상관관계에 연관되는 다른 요소를 검출하여 상기 상관관계의 클래스를 결정하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
21 21
제20항에 있어서, 상기 상관관계 결정 모델은, 입력 영상에서 상기 특정 객체의 행동을 검출하는 행동 검출 네트워크; 및 입력 영상에서 특징을 추출하여 행동하는 객체와 상이한 객체를 검출하는 객체 검출 네트워크를 포함하며, 상기 행동 검출 네트워크는 영상에 나타난 행동의 클래스를 결정하기 위한 특징을 추출하도록 구성되며, 상기 객체 검출 네트워크는 영상에 나타난 객체의 클래스를 결정하기 위한 특징을 추출하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
22 22
제21항에 있어서, 상기 행동의 클래스를 결정하기 위한 특징은 포즈 특징을 포함하며, 상기 객체의 클래스를 결정하기 위한 특징은 외관 특징을 포함하는 것을 특징으로 하는 비디오 요약 생성 시스템
23 23
제21항에 있어서, 상기 상관관계 결정 모델은,상기 행동 검출 네트워크에서 산출된 값의 세트 및 상기 객체 검출 네트워크에서 산출된 값의 세트를 연결(link)하여 상관관계 행렬을 생성하고, 상기 상관관계 행렬의 요소에서 가장 큰 값을 갖는 요소의 행(row)과 열(column)에 해당하는 행동 및 객체에 기초하여 상기 입력 영상에서 특정 객체에 연관된 상관관계를 결정하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
24 24
제1항에 있어서, 상기 튜브 생성부는, 상기 소스 객체의 검출에 따른 소스 객체 관련 정보 또는 소스 비디오 관련 정보, 그리고 상기 튜브의 소스 객체에 연관된 것으로 결정된 상관관계 중 하나 이상을 상기 소스 객체의 튜브에 라벨링하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
25 25
제24항에 있어서, 상기 소스 객체의 튜브 및 라벨링된 데이터 중 하나 이상을 저장하는 소스 DB를 더 포함하는 것을 특징으로 하는 비디오 요약 생성 시스템
26 26
제1항에 있어서, 상기 비디오 요약 생성부는, 요약에 요구될 요약 객체 및 요약 상관관계를 포함한 사용자 질의에 응답하여 비디오 요약을 생성하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
27 27
제26항에 있어서, 상기 비디오 요약 생성부는, 검출된 소스 객체에서 요약 객체에 대응하는 소스 객체를 결정하고, 상기 선택된 소스 객체에서 상기 요약 상관관계에 대응하는 상관관계에 연관된 소스 객체를 필터링하여 상기 비디오 요약을 생성하기 위한 소스 객체를 선택하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
28 28
제26항에 있어서, 상기 비디오 요약 생성부는,선택된 요약 객체의 튜브 간의 충돌(collision)을 최소화함으로써 상기 선택된 요약 객체의 튜브의 시작 지점을 결정하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
29 29
제26항에 있어서, 상기 비디오 요약 생성부는, 상기 사용자 질의에 복수의 요약 상관관계가 포함된 경우, 동일한 요약 상관관계를 갖는 튜브를 그룹화하여 상관관계별 그룹을 생성하고, 그리고각 그룹 간의 충돌을 최소화함으로써 배열하도록 각 그룹의 시작 지점을 결정하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
30 30
제29항에 있어서, 상기 비디오 요약 생성부는,소스 비디오에서의 촬영 시간에 기초하여 동일한 그룹 내 상기 선택된 요약 객체의 튜브의 시작 지점을 결정하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
31 31
제26항에 있어서, 상기 비디오 요약 생성부는, 배열된 요약 객체의 튜브 및 배경에 기초하여 요약 비디오를 생성하도록 구성된 것을 특징으로 하는 비디오 요약 생성 시스템
32 32
제31항에 있어서, 상기 비디오 요약 생성부는, 상기 소스 비디오의 배경의 적어도 일부가 제거된 소스 객체의 튜브를 상기 소스 비디오의 배경과 스티칭(stitching)하도록 더 구성되는 것을 특징으로 하는 비디오 요약 생성 시스템
33 33
프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 소스 비디오에서 검출된 소스 객체의 튜브 및 상관관계를 사용한 비디오 요약 생성 방법에 있어서, 요약에 요구될 요약 객체 및 요약 상관관계를 포함한 사용자 질의를 수신하는 단계; 상기 사용자 질의에 대응하는 소스 객체 및 상관관계를 획득하는 단계; 상기 사용자 질의에 대응하는 상관관계에 연관된 소스 객체를 요약을 위한 튜브로 선택하고, 선택된 튜브를 배열하는 단계; 및선택된 튜브 및 배경에 기초하여 비디오 요약을 생성하는 단계를 포함하는 비디오 요약 생성 방법
34 34
제33항에 있어서, 상기 소스 객체는 상기 소스 비디오에서 객체 검출 모델을 통해 검출되며, 상기 객체 검출 모델은 입력 영상으로부터 객체를 검출하기 위한 특징을 추출하여 입력 영상에 포함된 객체에 대응하는 클래스를 결정하도록 미리 학습된 것을 특징으로 하는 비디오 요약 생성 방법
35 35
제34항에 있어서, 상기 배경은, 상기 소스 비디오에서 객체를 검출함으로써 추출된 소스 비디오의 배경을 포함하는 것을 특징으로 하는 비디오 요약 생성 방법
36 36
제34항에 있어서, 상기 소스 객체의 튜브는, 상기 소스 객체의 액티비티를 나타낸 프레임의 서브세트, 또는 액티비티를 나타낸 프레임의 서브세트와 소스 객체를 나타낸 프레임의 서브세트의 조합에 기초하여 생성된 것을 특징으로 하는 비디오 요약 생성 방법
37 37
제35항에 있어서, 상기 액티비티를 나타낸 프레임은, 움직임 여부, 속도(velocity), 속력(speed), 및 방향(direction) 중 적어도 하나를 포함하는 추적 정보에 기초하여 결정되는 것을 특징으로 하는 비디오 요약 생성 방법
38 38
제35항에 있어서, 상기 소스 객체의 튜브는, 상기 소스 비디오의 프레임 내 소스 객체를 포함한 영역을 필터링함으로써 생성된 것을 특징으로 하는 비디오 요약 생성 방법
39 39
제35항에 있어서, 상기 소스 객체의 튜브는, 상기 소스 객체의 검출 결과 상기 소스 객체를 포함한 영상 영역이 추출된 경우, 필터링을 대신하여 상기 추출된 영상 영역으로 생성된 것을 특징으로 하는 비디오 요약 생성 방법
40 40
제33항에 있어서, 상기 상기 튜브의 소스 객체에 연관된 상관관계는, 입력 영상에 포함된 객체에 연관된 상관관계를 결정하도록 미리 학습된 상관관계 결정 모델을 통해 결정된 것을 특징으로 하는 비디오 요약 생성 방법
41 41
제40항에 있어서, 상기 상관관계 결정 모델은, 제1 객체를 포함한 크기를 갖는 영상을 입력 영상으로 수신하여 제1 특징을 추출하고, 상기 제1 객체를 포함한 영역 및 다른 영역을 포함한 크기를 갖는 영상을 입력 영상으로 수신하여 제2 특징을 추출하며, 상기 제1 특징 및 제2 특징에 기초하여 상기 제1 객체에 연관된 상관관계를 결정하도록 구성된 것을 특징으로 하는 비디오 요약 생성 방법
42 42
제40항에 있어서, 상기 상관관계 결정 모델은, 입력 영상에서 상기 특정 객체의 행동을 검출하는 행동 검출 네트워크; 및 입력 영상에서 특징을 추출하여 행동하는 객체와 상이한 객체를 검출하는 객체 검출 네트워크를 포함하며, 상기 행동 검출 네트워크는 영상에 나타난 행동의 클래스를 결정하기 위한 특징을 추출하도록 구성되며, 상기 객체 검출 네트워크는 영상에 나타난 객체의 클래스를 결정하기 위한 특징을 추출하도록 구성된 것을 특징으로 하는 비디오 요약 생성 방법
43 43
제33항에 있어서, 상기 사용자 질의에 대응하는 상관관계에 연관된 소스 객체를 선택하는 단계는, 검출된 소스 객체에서 요약 객체에 대응하는 소스 객체를 결정하는 단계; 및상기 선택된 소스 객체에서 상기 요약 상관관계에 대응하는 상관관계에 연관된 소스 객체를 필터링하여 상기 비디오 요약을 생성하기 위한 소스 객체를 선택하는 단계를 포함하는 비디오 요약 생성 방법
44 44
제33항에 있어서, 상기 선택된 튜브를 배열하는 단계는, 선택된 요약 객체의 튜브 간의 충돌(collision)을 최소화함으로써 상기 선택된 요약 객체의 튜브의 시작 지점을 결정하는 단계를 포함하는 비디오 요약 생성 방법
45 45
제33항에 있어서, 상기 선택된 튜브를 배열하는 단계는, 상기 사용자 질의에 복수의 요약 상관관계가 포함된 경우, 동일한 요약 상관관계를 갖는 튜브를 그룹화하여 상관관계별 그룹을 생성하는 단계; 및 각 그룹 간의 충돌을 최소화을 최소화함으로써 배열하도록 각 그룹의 시작 지점을 결정하는 단계를 포함하는 비디오 요약 생성 방법
46 46
컴퓨터에 의해 판독 가능하고, 상기 컴퓨터에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능한 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨터의 프로세서에 의해 실행되는 경우 상기 프로세서가 제33항 내지 제45항 중 어느 하나의 항에 따른 비디오 요약 생성 방법을 수행하게 하는 컴퓨터 판독가능 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 한국과학기술연구원 실종아동등신원확인을위한복합인지기술개발(R＆D)(과기정통부) 시공간/시점의 동적 변화에 따른 최적화된 신원분석 및 추론을 위한 복합인지 핵심기술 개발