관절점 기반 동작 정보를 통한 영상 데이터 색인화 장치에 있어서,

관절점 정보 설정을 사용자가 수행할 수 있도록 인터페이스를 처리하기 위한 사용자 인터페이스 처리수단;

상기 영상 데이터와 상기 영상 데이터에 동작 정보가 있으면 이를 포함한 색인화 정보를 저장하기 위한 저장수단;

상기 저장수단로부터 동영상 데이터를 받아 장면 전환에 의한 샷을 검출하는 장면전환 검출수단;

상기 장면전환 검출수단에서 검출된 상기 샷이나 상기 저장수단에서 정지영상 데이터를 전달받아 상기 사용자 인터페이스 처리수단으로부터 설정받은 관절점 정보에 따라 관절점 데이터를 추출하기 위한 관절점 추출수단; 및

상기 장면전환 검출수단으로부터의 샷과 상기 관절점 추출수단으로부터의 관절점 데이터를 입력받거나, 상기 관절점 추출수단으로부터의 정지영상 데이터와 관절점 데이터를 입력받아 내용 분석하여 상기 색인화 정보를 생성하고 이를 상기 저장수단에 저장하기 위한 분석 및 색인화 수단

을 포함하는 영상 데이터 색인화 장치

관절점 기반 동작 정보를 통한 영상 데이터 색인화 장치에 있어서,

제 2 항에 있어서,

상기 관절점 추출수단은,

상기 사용자 인터페이스 처리수단을 통해 사용자로부터 상기 영상 데이터의 한 프레임에서 상기 관절점 데이터를 추출받아, 추출된 상기 관절점 데이터를 기준으로 하여 남은 프레임에서 상기 관절점 데이터를 추출하는 것을 특징으로 하는 영상 데이터 색인화 장치

관절점 기반 동작 정보를 통한 영상 데이터 검색 장치에 있어서,

사용자로부터의 검색 요청을 받거나 검색결과를 제공하기 위한 사용자 인터페이스 처리수단;

상기 영상 데이터 및 상기 영상 데이터에 동작 정보가 있으면 이를 포함한 색인화 정보를 저장하기 위한 저장수단;

상기 사용자 인터페이스 처리수단을 통해 입력된 사용자의 쿼리에 동작 정보가 포함되어 있는지를 확인하여 검색을 위한 표현 구조로 나타내기 위한 사용자 쿼리 표현수단;

상기 사용자 쿼리 표현수단에서 표현된 사용자 쿼리의 표현 구조를 상기 저장수단의 색인화 정보와 비교하여 유사도 측정을 수행하기 위한 유사도 측정수단; 및

상기 유사도 측정수단에 의해 측정된 유사도 정보에 특징별 가중치를 고려하여 검색 결과를 추출하고 이를 상기 사용자 인터페이스 처리수단으로 전달하기 위한 영상 추출수단

을 포함하는 영상 데이터 검색 장치

관절점 기반 동작 정보를 통한 영상 데이터 색인화 장치에 적용되는 영상 데이터 색인화 방법에 있어서,

관절점 데이터 추출을 위한 관절점 정보를 설정받는 제 1 단계;

색인화 대상인 영상 데이터를 받아 상기 영상 데이터가 동영상 데이터인지를 판단하는 제 2 단계;

상기 제 2 단계의 판단 결과, 동영상 데이터이면 샷을 검출하여 상기 샷으로부터 객체의 관절점 데이터를 추출하고 상기 객체의 동작 유무에 따라 대표 자세와 동작 정보를 포함하여 색인화하는 제 3 단계; 및

상기 제 2 단계의 판단 결과, 동영상 데이터가 아니면 상기 영상 데이터로부터 객체의 관절점 데이터를 추출하고 대표 자세를 포함하여 색인화하는 제 4 단계

를 포함하는 영상 데이터 색인화 방법

제 5 항에 있어서,

상기 제 3 단계는,

동영상 데이터인지를 판단한 결과, 동영상 데이터이면 장면 전환을 검출하여 샷을 생성하고 샷에 존재하는 객체의 관절점 데이터를 추출하는 제 5 단계; 및

관절점 데이터가 추출된 샷을 분석하여 샷에 존재하는 객체의 동작 유무에 따른 정보를 객체 표현 구조에 따라 표현하고 이를 색인화하는 제 6 단계

제 6 항에 있어서,

상기 제 5 단계는,

동영상 데이터에 대해 장면 전환을 검출하여 샷을 생성하는 제 7 단계;

샷에 존재하는 객체의 관절점 데이터 추출이 어떤 형식으로 이루어지도록 설정되었는지를 판단하는 제 8 단계;

상기 제 8 단계의 판단 결과, 수동으로 관절점 데이터 추출이 이루어지도록 설정되었으면 관절점 데이터 추출을 위하여 프레임 단위로 사용자로부터 관절점 데이터 추출을 받는 제 9 단계;

상기 제 8 단계의 판단 결과, 반자동으로 관절점 데이터 추출이 이루어지도록 설정되었으면 샷의 첫 프레임에 대해 사용자로부터 객체의 관절점 데이터를 추출받고 이를 기반으로 남은 프레임에서 관절점 데이터를 추출하는 제 10 단계; 및

상기 제 8 단계의 판단 결과, 자동으로 관절점 데이터 추출이 이루어지도록 설정되었으면 설정된 관절점 정보에 따라 샷의 모든 프레임에서 객체의 관절점 데이터를 추출하는 제 11 단계

를 포함하는 영상 데이터 색인화 방법

제 6 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 객체 표현 구조는,

어떤 영상 데이터인지를 알 수 있도록 하기 위한 영상 식별자 필드 정보와, 상기 영상 데이터 내에 어떤 객체에 대한 것인지를 알 수 있도록 하기 위한 객체 식별자 필드 정보와, 상기 영상 데이터 내에 상기 객체의 대표 자세가 존재하는지를 표현하기 위한 대표 자세 식별자 필드 정보와, 상기 영상 데이터 내에 상기 객체의 동작이 있는지를 표현하기 위한 동작 표현 식별자 필드 정보와, 상기 객체의 대표 자세가 있으면 상기 객체의 대표 자세가 몇 개인지를 나타내기 위한 대표 자세 숫자 필드와, 상기 대표 자세 숫자 필드의 숫자만큼 존재하는 상기 객체의 대표 자세를 표현하기 위한 대표 자세 표현자 필드와, 상기 객체의 동작이 있으면 상기 객체의 동작을 표현하기 위한 동작 표현자 필드 정보를 포함하는 것을 특징으로 하는 영상 데이터 색인화 방법

제 9 항에 있어서,

상기 대표 자세 표현자 필드 정보는,

상기 객체의 각 관절점들에 대하여 상기 각 관절점이 상기 영상 데이터에 존재하는지를 표현하기 위한 관절점 플래그 집합 필드 정보와, 상기 객체의 상기 영상 데이터에 존재하는 상기 관절점의 위치벡터 값을 나타내기 위한 관절점 위치벡터 필드 정보를 포함하는 것을 특징으로 하는 영상 데이터 색인화 방법

제 9 항에 있어서,

상기 동작 표현자 필드 정보는,

상기 객체의 동작 표현을 위한 히스토그램 값 중 평준화에 사용한 최대값을 나타내기 위한 평준화 요소 필드 정보와, 상기 객체의 동작 표현을 위한 히스토그램 빈(bin)의 개수를 나타내기 위한 빈 숫자 필드 정보와, 상기 객체의 상기 각 관절점들에 대해 상기 관절점들이 상기 영상 데이터 내에 존재하는지를 표현하기 위한 동작 플래그 필드 정보와, 상기 영상 데이터 내에 존재하는 상기 관절점의 동작 유무를 표현하기 위한 다이나믹 플래그 필드 정보와, 상기 영상 데이터 내에 존재하는 상기 관절점이 동작할 때 상기 관절점의 동작을 상기 히스토그램 표현 방식으로 나타내기 위한 관절점의 유동작 표현 필드 정보와, 상기 영상 데이터 내에 존재하는 상기 관절점이 동작하지 않을 때 상기 빈(bin)의 위치를 나타내기 위한 관절점의 무동작 표현 필드 정보와, 상기 관절점이 상기 영상 데이터 내에 존재하지 않을 경우를 나타내기 위한 부재 속성 필드 정보를 포함하는 것을 특징으로 하는 영상 데이터 색인화 방법

제 11 항에 있어서,

상기 동작 플래그 필드 정보는,

상기 관절점의 수만큼 있는 것을 특징으로 하는 영상 데이터 색인화 방법

제 11 항에 있어서,

상기 관절점의 유동작 표현 필드 정보는,

존재시에 상기 빈 숫자 필드의 값인 개수만큼 존재하는 것을 특징으로 하는 영상 데이터 색인화 방법

관절점 기반 동작 정보를 통한 영상 데이터 검색 장치에 적용되는 영상 데이터 검색 방법에 있어서,

사용자로부터 검색 요청을 받아 쿼리를 분석하여 상기 쿼리에 객체의 동작 정보를 포함하고 있는지를 판단하는 제 1 단계;

상기 제 1 단계의 판단 결과, 상기 쿼리에 객체의 동작 정보를 포함하고 있으면 상기 쿼리를 동작 정보를 포함하는 객체 표현 구조로 나타내는 제 2 단계;

상기 제 1 단계의 판단 결과, 상기 쿼리에 객체의 동작 정보를 포함하고 있지 않으면 상기 쿼리를 동작 정보가 없는 상기 객체 표현 구조로 나타내는 제 3 단계; 및

상기 객체 표현 구조로 나타내어진 상기 쿼리를 이용해 동작 정보의 유무에 따라 이를 표현하여 색인화된 검색 데이터로부터 검색 결과를 추출하는 제 4 단계

를 포함하는 영상 데이터 검색 방법

관절점 기반 동작 정보를 통한 영상 데이터 검색 방법에 있어서,

검색 대상인 영상 데이터 내에 객체의 관절점 데이터를 기반으로 상기 객체의 동작 유무에 따른 동작 정보를 포함하여 상기 영상 데이터를 색인화하는 제 1 단계; 및

색인화된 상기 영상 데이터를 검색하기 위해 사용자의 쿼리를 분석하여 상기 쿼리의 객체에 대한 표현에서 동작 정보의 유무를 확인하여 상기 관절점 데이터 기반의 표현 구조로 나타내고 이를 기반으로 상기 영상 데이터를 검색하는 제 2 단계

를 포함하는 영상 데이터 검색 방법

제 16 항 또는 제 17 항에 있어서,

상기 제 2 단계는,

사용자로부터 검색 요청을 받아 쿼리를 분석하여 상기 쿼리에 객체의 동작 정보를 포함하고 있는지를 판단하는 제 7 단계;

상기 제 7 단계의 판단 결과, 상기 쿼리에 객체의 동작 정보를 포함하고 있으면 상기 쿼리를 동작 정보를 포함하는 객체 표현 구조로 나타내는 제 8 단계;

상기 제 7 단계의 판단 결과, 상기 쿼리에 객체의 동작 정보를 포함하고 있지 않으면 상기 쿼리를 동작 정보가 없는 상기 객체 표현 구조로 나타내는 제 9 단계; 및

상기 객체 표현 구조로 나타내어진 상기 쿼리를 이용해 동작 정보의 유무에 따라 이를 표현하여 색인화된 검색 데이터로부터 검색 결과를 추출하는 제 10 단계

를 포함하는 영상 데이터 검색 방법

대용량 프로세서를 구비한 영상 데이터 색인화장치에,

관절점 데이터 추출을 위한 관절점 정보를 설정받는 제 1 기능;

색인화 대상인 영상 데이터를 받아 상기 영상 데이터가 동영상 데이터인지를 판단하는 제 2 기능;

상기 제 2 기능의 판단 결과, 동영상 데이터이면 샷을 검출하여 상기 샷으로부터 객체의 관절점 데이터를 추출하고 상기 객체의 동작 유무에 따라 대표 자세와 동작 정보를 포함하여 색인화하는 제 3 기능; 및

상기 제 2 기능의 판단 결과, 동영상 데이터가 아니면 상기 영상 데이터로부터 객체의 관절점 데이터를 추출하고 대표 자세를 포함하여 색인화하는 제 4 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

대용량 프로세서를 구비한 영상 데이터 검색장치에,

대용량 프로세서를 구비한 영상 데이터 검색장치에,

검색 대상인 영상 데이터 내에 객체의 관절점 데이터를 기반으로 상기 객체의 동작 유무에 따른 동작 정보를 포함하여 상기 영상 데이터를 색인화하는 제 1 기능; 및

색인화된 상기 영상 데이터를 검색하기 위해 사용자의 쿼리를 분석하여 상기 쿼리의 객체에 대한 표현에서 동작 정보의 유무를 확인하여 상기 관절점 데이터 기반의 표현 구조로 나타내고 이를 기반으로 상기 영상 데이터를 검색하는 제 2 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

대용량 프로세서를 구비한 영상 데이터 색인화장치에,

어떤 영상 데이터인지를 알 수 있도록 하기 위한 영상 식별자 표현 구조;

상기 영상 데이터 내에 어떤 객체에 대한 것인지를 알 수 있도록 하기 위한 객체 식별자 표현 구조;

상기 영상 데이터 내에 상기 객체의 대표 자세가 존재하는지를 표현하기 위한 대표 자세 식별자 표현 구조;

상기 영상 데이터 내에 상기 객체의 동작이 있는지를 표현하기 위한 동작 표현 식별자 표현 구조;

상기 객체의 대표 자세가 있으면 상기 객체의 대표 자세가 몇 개인지를 나타내기 위한 대표 자세 숫자 표현 구조;

상기 대표 자세 숫자 표현 구조의 숫자만큼 존재하는 상기 객체의 대표 자세를 표현하기 위한 대표 자세 표현자 구조; 및

상기 객체의 동작이 있으면 상기 객체의 동작을 표현하기 위한 동작 표현자 구조

를 가지는 데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체

제 22 항에 있어서,

상기 대표 자세 표현자 구조는,

상기 객체의 각 관절점들에 대하여 상기 각 관절점이 상기 영상 데이터에 존재하는지를 표현하기 위한 관절점 플래그 집합 구조; 및

상기 객체의 상기 영상 데이터에 존재하는 상기 관절점의 위치벡터 값을 나타내기 위한 관절점 위치벡터 표현 구조

를 가지는 데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체

제 22 항에 있어서,

상기 동작 표현자 구조는,

상기 객체의 동작 표현을 위한 히스토그램 값 중 평준화에 사용한 최대값을 나타내기 위한 평준화 요소 구조;

상기 객체의 동작 표현을 위한 히스토그램 빈(bin)의 개수를 나타내기 위한 빈 숫자 표현 구조;

상기 객체의 상기 각 관절점들에 대해 상기 관절점들이 상기 영상 데이터 내에 존재하는지를 표현하기 위한 동작 플래그 표현 구조;

상기 영상 데이터 내에 존재하는 상기 관절점의 동작 유무를 표현하기 위한 다이나믹 플래그 구조;

상기 영상 데이터 내에 존재하는 상기 관절점이 동작할 때 상기 관절점의 동작을 상기 히스토그램 표현 방식으로 나타내기 위한 관절점의 유동작 표현 구조;

상기 영상 데이터 내에 존재하는 상기 관절점이 동작하지 않을 때 상기 빈(bin)의 위치를 나타내기 위한 관절점의 무동작 표현 구조;

상기 관절점이 상기 영상 데이터 내에 존재하지 않을 경우를 나타내기 위한 부재 속성 구조

를 가지는 데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체