| 1 |
1
대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 비디오 콘텐츠를 분석하는 비디오 처리부; 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하여 정렬하는 전처리 과정을 수행하고, 대본 콘텐츠를 분석하는 대본 처리부; 상기 비디오 처리부에서 생성된 어노테이션 메타데이터를 저장하는 어노테이션 지식 베이스; 및 상기 대본 처리부에서 생성된 내러티브 메타데이터를 저장하는 내러티브 지식 베이스 를 포함하고,대본 처리부는, 반 구조화된 대본 서식을 분석하고, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고, 구조화(Structured) 하며, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식이 구조화 결과로 변형되었을 경우 보정하며, 대본의 구조로부터 대본의 씬을 검출하여 정보를 메타데이터의 계층구조로 지정하는메타데이터 자동 생성 시스템
|
| 2 |
2
제1항에 있어서,비디오 처리부는, 입력된 비디오의 매 프레임 간의 유사도를 측정하여 유사도가 미리 정해진 기준 이상으로 급히 변경되는 프레임 전후로 비디오의 샷으로 검출하여 구분하고, 구분된 비디오의 모든 샷에서 시, 공간이 바뀌는 시점을 인식하여 비디오의 씬을 검출하는 메타데이터 자동 생성 시스템
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서, 비디오와 대본의 씬 순서를 일치시키기 위해 비디오의 한 씬의 발화들을 음성인식 기술로 자막을 만들고 대본의 발화와 문자열 비교 알고리즘을 이용해 1차 정렬한 후, 다이나믹 프로그래밍 기법을 이용하여 비디오와 대본의 씬 순서를 정렬하는 메타데이터 자동 생성 시스템
|
| 5 |
5
제4항에 있어서, 대본을 비디오의 샷 단위까지 일치시키기 위해 비디오의 씬 안에 속한 샷 안의 시간 및 음성 텍스트 정보를 대본 처리부로 전달해 이후에 처리하는메타데이터 자동 생성 시스템
|
| 6 |
6
대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계; 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계; 인식된 비디오 씬 및 대본 씬을 정렬하는 전처리 과정을 수행하는 단계; 전처리된 비디오 콘텐츠를 분석하는 단계; 전처리된 대본 콘텐츠를 분석하는 단계; 분석된 비디오 콘텐츠로부터 생성된 어노테이션 메타데이터를 저장하는 단계; 및 분석된 대본 콘텐츠로부터 생성된 내러티브 메타데이터를 저장하는 단계 를 포함하고,전처리된 대본 콘텐츠를 분석하는 단계는, 반 구조화된 대본 서식을 분석하고, 대본으로부터 인물, 발화, 설명문, 장소, 시간을 구분하기 위해 다양한 형태의 대본 구조 양식과 입력된 대본 구조를 비교하여 적합한 대본 양식을 선택하고, 구조화(Structured) 하며, 해당 양식을 입력된 대본이 따랐는지 검증하고, 잘못 입력된 양식이 구조화 결과로 변형되었을 경우 보정하며, 대본의 구조로부터 대본의 씬을 검출하여 정보를 메타데이터의 계층구조로 지정하는메타데이터 자동 생성 방법
|
| 7 |
7
제6항에 있어서, 대본 처리부와 상호 연결하기 위해 비디오를 입력 받아 비디오의 샷 및 씬을 인식하는 단계는, 인물 및 객체 인식을 통해 한 샷 안에서 샷의 첫번째, 마지막, 및 한 샷 내에서 프레임 간의 유사도가 급격히 바뀌는 한 개 이상의 프레임 들을 키프레임으로 지정하고, 키프레임 이미지에서 인물의 외형, 얼굴과 객체의 외형 및 카테고리를 인식하여 메타데이터로 저장하는 메타데이터 자동 생성 방법
|
| 8 |
8
제6항에 있어서, 비디오 처리부와 상호 연결하기 위해 대본을 입력 받아 대본 및 씬을 인식하는 단계는, 구조화된 대본의 계층 구조와 부가 정보를 입력으로 하여 씬 단위로 나뉘어진 대본과, 비디오로의 샷, 씬 정보와 비디오의 음성 자막을 입력으로 받아 한 비디오 안의 발화와 대본과 비교, 정렬하여 대본을 샷 단위로 나누는 메타데이터 자동 생성 방법
|
| 9 |
9
제7항에 있어서, 전처리된 비디오 콘텐츠를 분석하는 단계는, 전처리된 비디오 콘텐츠에서 인물과 객체를 인식하여, 인물과 인물, 인물과 객체, 객체와 객체의 모든 상대 위치를 계산하고, 장면을 기술하는 프레임 캡셔닝 단계; 상기 장면이 기술되면, 인물의 포즈와 상대 위치를 이용해 행동을 인식하는 샷 캡셔닝단계; 및인식된 행동의 패턴을 기반으로 인물의 활동을 구분하여 스토리 중심적 구조로 배정해 저장하고, 다양한 정보를 비디오로 추출하여 어노테이션 메타데이터로 저장하는 씬 캡셔닝단계 를 포함하는 메타데이터 자동 생성 방법
|
| 10 |
10
제8항에 있어서,전처리된 대본 콘텐츠를 분석하는 단계는,대본이 비디오와 같이 샷 단위로 나눈 후 등장인물, 공간, 객체 분석을 통해 비디오 안에 등장하는 등장인물, 공간, 객체를 모두 각각 클러스터링(Clustering)하여 등장하는 인물, 공간, 객체의 카테고리를 파악하고, 등장인물의 경우 등장인물과 등장인물이 한 샷에 같이 등장한 횟수를 카운트해 인물 간의 관계를 그리고, 객체의 이름을 인식한 후, 등장인물, 배경, 공간을 모두 시맨틱웹과 엔티티로 연결시키고,다이얼로그 분석단계에서는 모든 발화를 분석해 형태소(POS), 개체명(Named-Entity) 감정(Emotion), 목적(Intent), 화행(Speech Act), 어투(Tone), 존칭(Honorific)을 인식, 모든 정보를 각 발화의 메타데이터로 저장하고,플롯 분석 단계에서 분석된 발화의 화행과 발화를 분석해 대화를 사건 단위로 나누고, 사건간의 관계를 분석해 대본의 기승전결을 파악하여 내러티브 메타데이터로써 저장하는 메타데이터 자동 생성 방법
|
