| 1 |
1
시각지식 제공 장치가 수행하는 시각지식 제공 방법에 있어서,디지털 이미지 시퀀스 형태로 영상을 입력받는 단계;상기 입력된 영상에서 씬(Scene)을 분리하는 단계;상기 분리된 각 씬에서 대표샷(shot)을 추출하는 단계;상기 대표샷을 구성하는 프레임에서 객체를 추출하는 단계;상기 추출된 객체간 상호 관계를 기반으로 행위 동사를 추출하는 단계;상기 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된 프레임을 키프레임으로 선정하는 단계;상기 선정된 키프레임을 기반으로 시각지식을 생성하는 단계;상기 생성된 시각지식을 데이터베이스에 저장하는 단계; 및상기 데이터베이스에 저장된 시각지식을 관리자에게 제공하기 위하여 시각화하는 단계를 포함하며,상기 대표샷을 추출하는 단계는,분리된 씬을 따라 구간 영역을 이동하면서 구간 영역내의 엔트로피를 계산하고, 엔트로피가 가장 높은 구간을 대표샷으로 추출하는 것을 특징으로 하는 시각지식 제공 방법
|
| 2 |
2
제1항에 있어서,상기 씬을 분리하는 단계는,상기 입력된 영상에서 이미지의 변화량을 모니터링하는 단계;상기 변화량이 임계치를 넘어가는 시점을 씬의 시작점으로 태깅하고, 계속해서 이미지의 변화량을 모니터링하는 단계;상기 변화량이 임계치 이하로 떨어지는 시점을 씬의 종료점으로 태깅하는 단계; 및상기 씬의 시작점과 종료점의 구간의 영상을 분리하고, 분리한 영상을 분석용 씬으로 저장하는 단계를 포함하는 것을 특징으로 하는 시각지식 제공 방법
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 객체를 추출하는 단계는,상기 대표샷을 구성하는 이미지 프레임에 대하여 비전 기술을 이용하여 객체를 추출 및 인식하고, 객체의 이미지 상에서의 좌표를 계산하는 것을 특징으로 하는 시각지식 제공 방법
|
| 5 |
5
제1항에 있어서,상기 행위 동사를 추출하는 단계는,상기 추출된 객체의 시간적 또는 공간적 변화 관계를 기반으로 사전 구축된 합성 규칙을 만족시키는 다수의 행위 동사를 추론하고, 추론된 행위 동사에 랭킹을 부여하는 것을 특징으로 하는 시각지식 제공 방법
|
| 6 |
6
제1항에 있어서,상기 상호 관계가 가장 잘 표현된 프레임을 키프레임으로 선정하는 단계는,상기 대표샷을 구성하는 복수의 이미지 프레임에서 가장 높은 랭킹의 행위 동사를 가지고 있는 이미지 프레임을 키프레임으로 선정하는 것을 특징으로 하는 시각지식 제공 방법
|
| 7 |
7
제1항에 있어서,상기 시각지식을 생성하는 단계는,상기 선정된 키프레임의 이미지, 키프레임에 포함된 객체들의 MBR(Minimum Bounding Rectangle) 영역에 대한 시각 단어(Visual Word), 객체 속성 및 객체들의 화면상 위치, 추론된 행위 동사 및 행위 동사의 추출에 사용된 합성 규칙을 구성적 항목(syntactic element)과 의미적 항목(semantic element)으로 구분하여 시각지식을 생성하는 것을 특징으로 하는 시각지식 제공 방법
|
| 8 |
8
제1항에 있어서,상기 생성된 시각지식을 데이터베이스에 저장하는 단계는,상기 시각지식의 검색의 편의성을 위하여, 시간 단위, 공간 단위, 객체 단위, 이벤트 단위 또는 시각단어(visual word) 단위로 인덱싱하고, 인덱싱 정보를 상기 데이터베이스에 씬을 대표하는 키프레임 정보로 저장하는 것을 특징으로 하는 시각지식 제공 방법
|
| 9 |
9
제1항에 있어서,상기 시각화하는 단계는,상기 데이터베이스에 저장된 시각지식을 관리자의 입력 제약사항에 따라 시각지식 시각화 인터페이스에 적재하는 단계; 및상기 적재된 시각지식을 시각지식 시각화 인터페이스를 통해 디스플레이하고 네비게이션하는 단계를 포함하는 것을 특징으로 하는 시각지식 제공 방법
|
| 10 |
10
제9항에 있어서,상기 시각지식 시각화 인터페이스는,카메라 정보를 입력받는 소스 네비게이션;상기 입력된 카메라 정보에 부합하는 영상을 적재하고, 상기 적재된 영상의 씬을 대표하는 키프레임들을 연속으로 나열하여 표시하는 씬 네비게이션;상기 연속으로 나열된 키프레임들 중에서 선택된 키프레임이 포함된 씬의 객체 구성정보가 표시되는 오브젝트 패널;상기 선택된 키프레임이 포함된 씬에 내재된 이벤트 정보를 구성하는 객체 관계 그래프가 표시되는 관계 패널;상기 선택된 키프레임이 포함된 씬에 내재된 이벤트 정보가 랭크되어 표시되는 이벤트 패널;상기 선택된 키프레임이 포함된 씬을 대표하는 키프레임에 시각지식이 오버레이되어 표시되는 키프레임용 대화형 뷰 패널;상기 선택된 키프레임이 포함된 씬의 원시데이터가 표시되는 원시데이터용 대화형 뷰 패널; 및상기 관리자를 위한 제어 패널을 포함하는 것을 특징으로 하는 시각지식 제공 방법
|
| 11 |
11
제10항에 있어서,상기 제어 패널은,자연어로 명령어를 입력하는 자연어 제어부;버튼 입력으로 명령어를 선택하는 커멘드 제어부; 및상기 커멘드 제어부 사용시, 상기 관리자가 정보를 직접 입력하는 것을 허용하는 제약사항 제어부를 포함하는 것을 특징으로 하는 시각지식 제공 방법
|
| 12 |
12
사용자 인터페이스 입력부;사용자 인터페이스 출력부;네트워크 인터페이스;명령어를 저장하는 메모리; 및상기 명령어를 실행하는 프로세서를 포함하되,상기 명령어는,디지털 이미지 시퀀스 형태로 영상을 입력받는 단계;상기 입력된 영상에서 씬(Scene)을 분리하는 단계;상기 분리된 각 씬에서 대표샷(shot)을 추출하는 단계;상기 대표샷을 구성하는 프레임에서 객체를 추출하는 단계;상기 추출된 객체간 상호 관계를 기반으로 행위 동사를 추출하는 단계;상기 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된 프레임을 키프레임으로 선정하는 단계;상기 선정된 키프레임을 기반으로 시각지식을 생성하는 단계;상기 생성된 시각지식을 데이터베이스에 저장하는 단계; 및상기 데이터베이스에 저장된 시각지식을 관리자에게 제공하기 위하여 시각화하는 단계를 포함하는 시각지식 제공 방법을 수행하며,상기 대표샷을 추출하는 단계는,분리된 씬을 따라 구간 영역을 이동하면서 구간 영역내의 엔트로피를 계산하고, 엔트로피가 가장 높은 구간을 대표샷으로 추출하는 것을 특징으로 하는 시각지식 제공 장치
|
| 13 |
13
삭제
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
| 17 |
17
삭제
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
삭제
|
