1 |
1
미리 정해진 규격에 따라 라인이 제공되는 스포츠 환경 영상을 촬영하여 객체의 상기 라인 인 또는 아웃 여부를 판정하는 인-아웃 판정 장치에서의 인-아웃 판정 방법에 있어서,상기 스포츠 환경 영상에 포함되는 오디오 신호 및 영상 신호를 각각 분리하는 단계;상기 영상 신호를 분석하여 상기 라인을 검출하는 단계;일정 영역이 중복되는 복수의 프레임으로 분할되는 상기 오디오 신호 및 상기 영상 신호를 각각 분석하여 상기 객체의 낙하 시점을 검출하는 단계; 및상기 라인 및 상기 객체의 낙하 시점에서의 상기 객체의 위치를 비교하여 상기 객체의 상기 라인 인 또는 아웃 여부를 판정하는 단계를 포함하는 인-아웃 판정 방법
|
2 |
2
제1항에 있어서,상기 오디오 신호 및 상기 영상 신호를 각각 분석하여 상기 객체의 낙하 시점을 검출하는 단계는,상기 오디오 신호의 스펙트로그램을 특징 벡터로 추출하는 단계; 및상기 특징 벡터를 객체의 낙하 시점에서의 오디오 신호의 특징을 학습한 딥러닝 신경망에 입력하여 상기 객체의 낙하 시점을 검출하는 단계를 포함하는 인-아웃 판정 방법
|
3 |
3
제1항에 있어서,상기 오디오 신호 및 상기 영상 신호를 각각 분석하여 상기 객체의 낙하 시점을 검출하는 단계는,상기 영상 신호에서 전배경분리를 통해 상기 객체를 분리하는 단계;상기 객체의 중심점에 객체가 낙하하는 움직임을 예측하는 제1 칼만 필터 및 객체가 튕겨져 나가는 움직임을 예측하는 제2 칼만 필터를 각각 적용하는 단계; 및상기 제1 칼만 필터에 의해 예측되는 객체의 중심점 및 상기 제2 칼만 필터에 의해 예측되는 객체의 중심점 간의 교차점을 상기 객체의 낙하 시점으로 검출하는 단계를 포함하는 인-아웃 판정 방법
|
4 |
4
제1항에 있어서,상기 영상 신호를 분석하여 상기 라인을 검출하는 단계는,상기 영상 신호에 허프 변환(Hough Transform) 알고리즘을 적용하여 상기 라인을 검출하는 단계인 인-아웃 판정 방법
|
5 |
5
제1항에 있어서,상기 오디오 신호 및 상기 영상 신호를 각각 분석하여 상기 객체의 낙하 시점을 검출하는 단계는,상기 오디오 신호 및 상기 영상 신호로부터 모두 상기 객체의 낙하 시점이 검출되는 경우, 상기 오디오 신호로부터 검출된 상기 객체의 낙하 시점과 상기 영상 신호로부터 검출된 상기 객체의 낙하 시점의 직전 시점 또는 직후 시점의 차이를 계산하고, 계산된 결과에 따라 보정된 낙하 시점을 생성하는 단계를 포함하는 인-아웃 판정 방법
|
6 |
6
제1항에 따른 인-아웃 판정 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
7 |
7
미리 정해진 규격에 따라 라인이 제공되는 스포츠 환경 영상을 촬영하여 객체의 상기 라인 인 또는 아웃 여부를 판정하는 인-아웃 판정 장치에 있어서,상기 스포츠 환경 영상을 촬영하는 촬영부;상기 스포츠 환경 영상에 포함되는 오디오 신호 및 영상 신호를 각각 분리하는 영상 분리부;상기 영상 신호를 분석하여 상기 라인을 검출하는 라인 검출부;일정 영역이 중복되는 복수의 프레임으로 분할되는 상기 오디오 신호 및 상기 영상 신호를 각각 분석하여 상기 객체의 낙하 시점을 검출하는 낙하 시점 검출부; 및상기 라인 및 상기 객체의 낙하 시점에서의 상기 객체의 위치를 비교하여 상기 객체의 상기 라인 인 또는 아웃 여부를 판정하는 인-아웃 판정부를 포함하는 인-아웃 판정 장치
|
8 |
8
제7항에 있어서,상기 낙하 시점 검출부는,상기 오디오 신호의 스펙트로그램을 특징 벡터로 추출하고, 상기 특징 벡터를 객체의 낙하 시점에서의 오디오 신호의 특징을 학습한 딥러닝 신경망에 입력하여 상기 객체의 낙하 시점을 검출하는 오디오 신호 분석부를 포함하는 인-아웃 판정 장치
|
9 |
9
제7항에 있어서,상기 낙하 시점 검출부는,상기 영상 신호에서 전배경분리를 통해 상기 객체를 분리하고, 상기 객체의 중심점에 객체가 낙하하는 움직임을 예측하는 제1 칼만 필터 및 객체가 튕겨져 나가는 움직임을 예측하는 제2 칼만 필터를 각각 적용하며, 상기 제1 칼만 필터에 의해 예측되는 객체의 중심점 및 상기 제2 칼만 필터에 의해 예측되는 객체의 중심점 간의 교차점을 상기 객체의 낙하 시점으로 검출하는 영상 신호 분석부를 포함하는 인-아웃 판정 장치
|
10 |
10
제7항에 있어서,상기 라인 검출부는,상기 영상 신호에 허프 변환(Hough Transform) 알고리즘을 적용하여 상기 라인을 검출하는 인-아웃 판정 장치
|
11 |
11
제7항에 있어서,상기 낙하 시점 검출부는,상기 오디오 신호 및 상기 영상 신호로부터 모두 상기 객체의 낙하 시점이 검출되는 경우, 상기 오디오 신호로부터 검출된 상기 객체의 낙하 시점과 상기 영상 신호로부터 검출된 상기 객체의 낙하 시점의 직전 시점 또는 직후 시점의 차이를 계산하고, 계산된 결과에 따라 보정된 낙하 시점을 생성하는 인-아웃 판정 장치
|