| 1 |
1
입력부를 통해 순차적 정보를 포함하는 비디오 데이터가 입력되는 단계; 및프로세서가, 입력된 비디오 데이터를 기반으로 객체 및 동작에 대한 계층적(hierarchical) 그래프를 생성하는 계산론적 파이프라인을 수행하는 단계;를 포함하는 계산론적 파이프라인 수행 방법
|
| 2 |
2
청구항 1에 있어서,입력되는 단계는, 비디오의 프레임과 비디오에서 말하는 내용의 텍스트 트랜스크립트(transcript)가 입력되는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 3 |
3
청구항 2에 있어서,프로세서는, 계산론적 파이프라인 수행 시, 비디오에 대한 종속성(dependency) 그래프를 생성하며,종속성 그래프는, 입력된 비디오 데이터가 요리 영상에 대한 비디오 데이터인 경우, 요리 영상에 나타나는 요리 동작이 노드로 표현되고 동작 간의 종속성이 엣지로 표현되는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 4 |
4
청구항 3에 있어서,프로세서는, 종속성 그래프 내 노드를 대상으로, 동작 노드를 표현하는 트리플렛을 추출하는 파서(parser)를 이용하여 비디오 트랜스크립트의 텍스트를 구문 분석하고, 종속성 그래프 내 엣지를 대상으로, expectation-maximization(EM) 알고리즘을 이용하여 추출된 동작 노드 간의 종속성을 예측하는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 5 |
5
청구항 3에 있어서,프로세서는, 종속성 그래프 내 유사한 동작을 병합하고 동작을 계층으로 그룹화하여 종속성 그래프를 강화하는 계층적 그래프를 생성하는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 6 |
6
청구항 5에 있어서,프로세서는, 종속성 그래프의 복잡성을 줄이기 위해 연속적이고 서로 유사한 동작을 병합하여 한 동작으로 표현하고,유사한 동작을 식별하기 위해 CNN 모델 활용하여 동일한 환경에서 수행되는 동작인지 예측하고, 기저장된 데이터셋 통해 동작의 이름이 의미적으로 유사한지 확인하는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 7 |
7
청구항 6에 있어서,프로세서는, 동작을 그룹화하여 그래프에 계층적 정보를 추가하기 위해 CNN 모델을 사용하여 동작의 비디오 프레임에 나타나는 환경 또는 도구를 예측하고,복수의 동작이 동일한 환경이나 도구를 통해 수행되고, 서로 종속관계에 있지 않으며, 상호 간에 기설정된 시간 간격 이상 떨어져 있지 않은 경우, 복수의 동작을 그룹화하는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 8 |
8
청구항 5에 있어서,계층적 그래프는, 복수의 노드와 엣지로 구성되며, 입력된 비디오 데이터가 요리 영상에 대한 비디오 데이터인 경우, 요리 영상에 등장하는 재료에 수행되는 동작이 노드로 표현되고, 요리 영상에 등장하는 재료 단일 객체 또는 재료 조합이 엣지로 표현되는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 9 |
9
청구항 8에 있어서,프로세서는,계층적 그래프의 노드가 클릭되면 비디오에서 노드가 표현하는 동작이 나타나는 장면으로 이동하도록 하고, 그래프의 엣지가 클릭되면, 비디오에서 엣지가 표현하는 재료가 등장하는 순간만을 요약해서 보여주며, 그룹화된 그래프 그룹이 클릭되면, 비디오에서 그룹에 포함된 동작이 등장하는 순간만을 요약해서 보여주는 것을 특징으로 하는 계산론적 파이프라인 수행 방법
|
| 10 |
10
순차적 정보를 포함하는 비디오 데이터가 입력되는 입력부; 및입력된 비디오 데이터를 기반으로 객체 및 동작에 대한 계층적(hierarchical) 그래프를 생성하는 계산론적 파이프라인을 수행하는 프로세서;를 포함하는 계산론적 파이프라인 수행 시스템
|
