| 1 |
1
3차원 쉬어렛 변환(3 Dimensional Shearlet Transform)을 이용하여 추출 대상 동영상에서 시공간 특징을 추출하는 시공간 특징 추출부;학습 동영상에서 상기 시공간 특징 추출부를 통해 추출된 시공간 특징 및 상기 학습 동영상에 대응되는 전문가 주관적 점수 정보를 기반으로, 양방향 게이트 순환 신경망(Gated Recurrent Neural Networks, GRNN), 잔차(residual) 학습 프레임워크 및 로지스틱 회귀(Logistic Regression)로 이루어지는 품질 예측 모델을 학습하는 품질 예측 모델 학습부; 및상기 품질 예측 모델 학습부를 통해 학습된 상기 품질 예측 모델을 이용하여, 평가 대상 동영상에서 상기 시공간 특징 추출부를 통해 추출된 시공간 특징을 기반으로 상기 평가 대상 동영상의 품질을 측정하는 동영상 품질 측정부;를 포함하는 시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 2 |
2
제1항에서,상기 시공간 특징 추출부는,미리 설정된 비율로 중첩되게 미리 설정된 프레임 개수 단위로 상기 추출 대상 동영상을 분할하여 복수개의 블록을 획득하고, 3차원 쉬어렛 변환을 이용하여 상기 복수개의 블록 각각에 대한 시공간 특징을 추출하는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 3 |
3
제2항에서,상기 시공간 특징 추출부는,이산 푸리에 변환(Discrete Fourier Transform, DFT)을 이용하여 하나의 상기 블록을 주파수 도메인(frequency domain)으로 변환하고, 주파수 도메인으로 변환된 상기 블록의 고역 통과 성분으로부터 복수개의 피라미드 영역을 획득하며, 상기 복수개의 피라미드 영역 각각을 미리 설정된 스케일 파라미터에 따라 복수개의 스케일 영역으로 분리하고, 상기 복수개의 피라미드 영역 각각에 대해 상기 복수개의 스케일 영역 각각에서 미리 설정된 개수의 방향 각각에 대한 3차원 쉬어렛 계수를 획득하여, 하나의 상기 블록에 대한 시공간 특징을 추출하며,상기 방향은,피라미드 영역의 한쪽 면에서 피라미드 영역의 중심을 통해 피라미드 영역의 반대쪽 면으로 진행하는 방향인,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 4 |
4
제3항에서,상기 시공간 특징 추출부는,상기 복수개의 피라미드 영역 각각에서 상기 복수개의 스케일 영역 각각에 대한 미리 설정된 개수의 상기 방향 중에서 중첩되는 방향을 제외한 나머지 방향 각각에 대한 상기 3차원 쉬어렛 계수를 획득하는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 5 |
5
제3항에서,상기 시공간 특징 추출부는,복수개의 상기 3차원 쉬어렛 계수 각각에서 평균 풀링(mean pooling)을 이용하여 미리 설정된 개수의 풀링된 벡터값을 획득하고, 복수개의 상기 3차원 쉬어렛 계수로부터 획득된 벡터값에서 평균을 빼고 표준 편차로 나누어 정규화 처리를 하며, 정규화 처리된 벡터값에서 0인 값을 가지는 요소에 미리 설정된 값을 추가하여 화이트닝 처리를 하여, 하나의 상기 블록에 대한 시공간 특징을 추출하는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 6 |
6
제2항에서,상기 시공간 특징 추출부는,상기 추출 대상 동영상의 프레임들을 그레이 스케일로 변환하고, 그레이 스케일로 변환된 상기 추출 대상 동영상의 프레임들의 크기를 조정하며, 크기가 조정된 상기 추출 대상 동영상을 분할하여 상기 복수개의 블록을 획득하는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 7 |
7
제2항에서,상기 품질 예측 모델 학습부는,상기 전문가 주관적 점수 정보를 미리 설정된 범위 사이의 값으로 변환하여 상기 학습 동영상에 대한 정답 레이블을 획득하는 레이블 획득 모듈; 및상기 시공간 특징 추출부를 통해 상기 학습 동영상에서 추출된 상기 복수개의 블록 각각에 대한 시공간 특징 및 상기 레이블 획득 모듈을 통해 획득된 상기 정답 레이블을 기반으로 상기 품질 예측 모델을 학습하는 모델 학습 모듈;을 포함하는 시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 8 |
8
제7항에서,상기 모델 학습 모듈은,상기 복수개의 블록 각각에 대한 시공간 특징을 상기 품질 예측 모델에 입력하고, 상기 정답 레이블을 이용하여 상기 품질 예측 모델의 목적 함수의 가중치를 획득하며, 획득된 상기 목적 함수의 가중치를 이용하여 상기 품질 예측 모델로부터 출력되는 결과값과 상기 정답 레이블을 비교하여 오차값을 획득하고, 상기 복수개의 블록 전부에 대한 학습이 종료되면 상기 품질 예측 모델의 출력 레이어에서 히든 레이어를 통해 입력 레이어로 평균 오차값을 전달하여 상기 품질 예측 모델의 가중치를 업데이트하며, 업데이트된 가중치를 이용하여 상기 품질 예측 모델로부터 출력되는 결과값과 상기 정답 레이블의 차이가 미리 설정된 범위 이내이면 상기 품질 예측 모델의 학습을 종료하며,상기 목적 함수는,동영상 레벨 품질의 정확성에 대응되는 항과 블록 레벨 품질의 균일한 분포에 대응되는 항을 포함하는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 9 |
9
제8항에서,상기 목적 함수 O는,이며,상기 S는, 상기 학습 동영상의 총 개수이고,상기 Ds는, s번째 상기 학습 동영상에 대한 총 오차값이며,상기 Qs는, s번째 상기 학습 동영상에 대한 상기 정답 레이블이고,상기 α(Qs)는, 상기 목적 함수의 가중치이며,상기 Ts는, s번째 상기 학습 동영상에 대한 블록의 총 개수이고,fs,t는, s번째 상기 학습 동영상의 t번째 블록에 대한 상기 품질 예측 모델의 결과값이며,상기 Fs는, s번째 상기 학습 동영상에 대한 상기 품질 예측 모델의 결과값이고, 인,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 10 |
10
제8항에서,상기 품질 예측 모델은,입력 레이어, 13개의 잔차 레이어, 및 출력 레이어를 포함하며,상기 잔차 레이어는,3개의 활동 함수, 상기 활동 함수 사이에 위치하는 2개의 양방향 레이어, 및 배치 정규화(Batch Normalization, BN)를 포함하고,상기 양방향 레이어는,2개의 게이트 순환 유닛(Gated Recurrent Units, GRU)을 포함하는, 시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 장치
|
| 11 |
11
3차원 쉬어렛 변환(3 Dimensional Shearlet Transform)을 이용하여 학습 동영상에서 추출된 시공간 특징 및 상기 학습 동영상에 대응되는 전문가 주관적 점수 정보를 기반으로, 양방향 게이트 순환 신경망(Gated Recurrent Neural Networks, GRNN), 잔차(residual) 학습 프레임워크 및 로지스틱 회귀(Logistic Regression)로 이루어지는 품질 예측 모델을 학습하는 단계; 및학습된 상기 품질 예측 모델을 이용하여, 3차원 쉬어렛 변환을 이용하여 평가 대상 동영상에서 추출된 시공간 특징을 기반으로 상기 평가 대상 동영상의 품질을 측정하는 단계;를 포함하는 시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 방법
|
| 12 |
12
제11항에서,상기 시공간 특징은,미리 설정된 비율로 중첩되게 미리 설정된 프레임 개수 단위로 추출 대상 동영상을 분할하여 획득된 복수개의 블록 각각에 대하여 3차원 쉬어렛 변환을 이용하여 추출되는,시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 방법
|
| 13 |
13
제11항 또는 제12항에 기재된 시공간 맥락 정보를 이용하여 동영상 품질을 측정하는 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램
|
