블록 단위의 움직임 보상을 하는 압축 방식으로 압축된 비디오로부터 카메라 움직임을 자동으로 검출하고, 동일한 카메라 움직임을 갖는 구간으로 분할하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법에 있어서,

상기 압축 비디오로부터 블록 단위의 움직임 벡터를 추출하는 압축 비트열 부분 복호화단계와;

상기 추출된 블록 단위의 움직임 벡터를 이용하여 비디오 시퀀스를 구성하는 각 프레임의 움직임 벡터장을 구성하는 움직임 벡터장 구성단계;

상기 각 프레임의 움직임 벡터장으로부터 전역 움직임을 기술하는 어파인 움직임 모델 파라미터를 추정하는 어파인 움직임 모델 파라미터 추정단계;

상기 어파인 움직임 모델 파라미터를 임계화하여 카메라 움직임을 검출하는 카메라 움직임 검출단계를 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 1 항에 있어서,

상기 검출된 카메라 움직임을 이용하여 동일한 카메라 움직임을 갖는 비디오 구간으로 분할하는 비디오 분할단계를 더 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 1 항 또는 제 2 항에 있어서,

상기 압축 비트열 부분 복호화단계는,

상기 블록 단위의 움직임 보상을 하는 압축방식으로 압축된 비디오 비트열을 입력받아 부분 복호화하여, 각 매크로블록마다 움직임 벡터 및 움직임 벡터장 구성에 사용하는 관련정보를 추출하여 출력하는 단계이며,

상기 관련정보에는, 각 픽쳐의 픽쳐 부호화 형태(picture coding type)를 나타내는 픽쳐부호화형태(picture_coding_type)와, 각 매크로블록의 부호화 형태(MB type)를 나타내는 매크로블록형태(macroblock_type)와, 각 매크로블록의 움직임 형태가 필드기반예측(field_based_prediction)에 의한 필드움직임벡터 (field_motion_vector)인지 혹은 프레임기반예측(frame_based_prediction)에 의한 프레임움직임벡터(frame_motion_vector)인지를 나타내는 움직임형태(motion_type), 그리고 각 필드의 움직임 추정 기준필드가 top field 인지 bottom field 인지를 나타내는 움직임벡터필드형태(motion_vector_field_select[r][s])가 포함된 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 3 항에 있어서,

상기 움직임 벡터장 구성단계는,

제 4 항에 있어서,

상기 움직임 벡터장 구성단계는,

상기 임의의 프레임 내의 임의의 매크로블록이 인트라 매크로블록 또는 no_MC 매크로블록이면 상기 매크로블록의 움직임 벡터를 0벡터로 설정하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 4 항에 있어서,

상기 움직임 벡터장 구성단계는,

상기 임의의 프레임 내의 임의의 매크로블록이 인트라 매크로블록 또는 no_MC 매크로블록이 아니면, 상기 압축 비트열의 움직임 벡터를 화소 단위로 변환하는 제 1 단계와,

제 6 항에 있어서,

상기 제 2 단계의 필드움직임벡터를 프레임움직임벡터로 변환하는 과정은,

두 필드의 필드움직임벡터를 각각 아래의 수식에 적용하여 프레임움직임벡터로 변환하는 제 1 소단계와,

상기 제 1 소단계에서 각각 구해진 두 개의 프레임움직임벡터를 산술평균하여 최종 프레임움직임벡터를 구하는 제 2 소단계를 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 6 항에 있어서,

상기 제 3 단계의 역방향 예측 움직임 벡터를 순방향 예측 움직임 벡터로 변환하는 과정은,

상기 매크로블록형태 정보로부터 상기 움직임 벡터의 예측방향을 파악하고, 역방향일 경우에는 부호만 반대로 하고, 양방향일 경우에는 순방향의 움직임 벡터를 취하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 6 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 프레임을 구성하는 모든 매크로블록에 대하여 상기 제 1 단계 내지 제 4 단계를 수행하여 움직임 벡터를 구하여 상기 프레임의 초기 움직임 벡터장을 구하고, 상기 구해진 움직임 벡터의 가로 및 세로 성분의 크기를 미디언 필터링하여 잡음을 제거하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 1 항 또는 제 2 항에 있어서,

상기 어파인 움직임 모델 파라미터 추정단계는,

상기 각 프레임의 움직임 벡터장으로부터 추정한 어파인 파라미터를 물리적인 카메라 움직임을 표현하기 위한 파라미터(pan, tilt, div, rot, hyp1, hyp2)로 변환하는 어파인 파라미터 변환단계와;

상기 변환된 어파인 파라미터 중 선형변수(div, rot, hyp)에 대한 임계값과 이동변수(pan, tilt)에 대한 임계값, 그리고 시간구간 레벨 검출을 위한 시간구간 임계값을 설정하는 임계값 설정단계; 및

상기 어파인 파라미터와 변환된 어파인 파라미터를 입력하여 줌 카메라 움직임, 회전 카메라 움직임, 팬 카메라 움직임, 틸트 카메라 움직임, 이동객체구간, 정지구간을 갖는 비디오 구간을 각각 검출하여, 줌 구간, 회전 구간, 팬 구간, 틸트 구간, 이동객체구간, 정지구간으로 출력하는 비디오 구간 검출단계를 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 10 항에 있어서,

상기 비디오 구간 검출단계 후 나머지 잔여구간이 존재하면, 임의의 잔여구간을 해당 잔여구간에 이웃한 구간으로 적절하게 분류하여 전체 비디오를 카메라 움직임에 따라 미세분할하는 미세분할단계를 더 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 11 항에 있어서,

상기 미세분할단계는,

상기 잔여구간에 이웃한 두 구간이 동일한 카메라 움직임으로 검출된 경우에는 상기 잔여구간을 상기 이웃한 구간의 카메라 움직임으로 분류하고,

상기 잔여구간에 이웃한 한 구간이 정지구간이고 다른 구간이 임의의 카메라 움직임으로 검출된 경우에는 상기 잔여구간을 상기 이웃한 다른 구간의 임의의 카메라 움직임으로 분류하고,

상기 잔여구간에 이웃한 두 구간이 정지구간이 아닌 서로 다른 종류의 카메라 움직임 구간으로 검출된 경우에는 상기 잔여구간을 두 구간으로 나누고 각각 이웃한 구간의 카메라 움직임으로 분류하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 10 항에 있어서,

상기 임계값 설정 단계는,

상기 선형변수 임계값과 이동변수 임계값은 각 카메라 움직임에 의하여 야기되는 움직임 벡터장을 눈으로 관찰하여 사람이 인지할 수 있는 최소의 값을 설정하고,

상기 시간구간 레벨 검출을 위한 시간구간 임계값으로는 카메라 움직임이 급격한 영상과 카메라 움직임이 완만한 영상에 따라 각각 다른 값으로 설정하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 10 항에 있어서,

상기 어파인 파라미터 변환단계는,

상기 각 프레임의 어파인 파라미터를 아래의 수식에 적용하여 변환하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 14 항에 있어서,

상기 비디오 구간 검출단계는,

전체 비디오 중 카메라 움직임의 검출을 수행할 비디오 구간을 설정하는 검출대상구간 설정단계와,

상기 어파인 파라미터를 이용하여 정상적인 카메라 움직임이 야기할 수 없는 경우를 검출하여 어파인 파라미터의 유효성을 판정하는 단계,

상기 검출하고자 하는 카메라 움직임에 해당하는 변환된 어파인 파라미터를 임계값과 비교하여 각 프레임에 해당하는 카메라 움직임을 검출하는 변환 파라미터 임계화단계,

상기 프레임에 검출된 카메라 움직임의 오검출 및 검출실패를 보상하기 위한 시간방향 평탄화단계,

상기 프레임에 검출된 카메라 움직임이 상기 시간구간 임계값 이상의 시간동안 지속되는 지를 확인하는 시간구간 임계화단계, 및

상기 카메라 움직임이 지속된 구간을 해당 카메라 움직임 구간으로 검출하는 움직임 검출단계를 포함한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 15 항에 있어서,

상기 검출대상구간 설정단계는,

첫 번째 카메라 움직임 구간을 검출할 경우에는 전체 비디오 구간을 검출대상구간으로 설정하고, 그 후부터는 앞에서 이미 검출된 카메라 움직임 구간을 제외한 나머지 구간을 검출대상구간으로 설정하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 15 항에 있어서,

상기 어파인 파라미터 유효성 판정단계는,

상기 프레임의 변환된 어파인 파라미터 div를 결정하는 어파인 파라미터 a2, a6의 부호가 서로 다르면 상기 div를 0으로 세팅하여 줌 검출에서 제외되도록 하고,

상기 프레임의 변환된 어파인 파라미터 rot를 결정하는 어파인 파라미터 a5, a3의 부호가 서로 같으면 상기 rot를 0으로 세팅하여 회전 검출에서 제외되도록 하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 15 항에 있어서,

상기 변환 파라미터 임계화단계는,

상기 변환된 어파인 파라미터 div와 rot의 절대값을 선형변수 임계값과 각각 비교하여 상기 변환된 어파인 파라미터의 절대값이 크면 상기 프레임이 줌 카메라 움직임 또는 회전 카메라 움직임을 포함한 것으로 판정하고,

상기 변환된 어파인 파라미터 pan과 tilt의 절대값을 이동변수 임계값과 비교하여 상기 변환된 어파인 파라미터의 절대값이 크면 상기 프레임이 팬 카메라 움직임 또는 틸트 카메라 움직임을 포함한 것으로 판정하고,

상기 변환된 어파인 파라미터 hyp의 절대값을 선형변수 임계값과 비교하여 hyp의 절대값이 크면 상기 프레임을 이동객체구간으로 판정하고,

상기 변환된 어파인 파라미터 중 선형변수(div, rot, hyp)의 각각의 절대값의 합이 2배의 선형변수 임계값보다 작고 이동변수(pan, tilt)의 각각의 절대값의 합이 이동변수 임계값보다 작으면 상기 프레임을 정지구간으로 판정하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 15 항에 있어서,

상기 시간방향 평탄화단계는,

각 프레임에 대한 카메라 움직임 검출이 완료되면, 임의의 프레임 크기의 창으로 시간방향으로 슬라이딩하면서 상기 창 내에 0의 값을 갖는 프레임들의 수가 창 크기의 반보다 크면 상기 창의 중심에 해당하는 프레임의 값을 0으로 교체함으로써, 시간방향으로 저역통과 필터링하는 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

제 15 항에 있어서,

상기 시간구간 임계화단계는,

상기 프레임에 검출된 카메라 움직임이 지속되는 시간을 상기 시간구간 임계값과 비교하여 임계값보다 큰 경우 그 구간을 해당 카메라 움직임의 구간으로 검출하여, 카메라 움직임의 시간적인 연속성을 고려한 것을 특징으로 하는 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및 분할방법

컴퓨터에,