| 1 |
1
모바일 디바이스가 실행하는 SR(Super-Resolution) 가속을 위한 방법에 있어서, 비디오에 대한 매니페스트 파일(manifest file)을 서버로부터 획득하는 과정;상기 매니페스트 파일로부터 SR DNN(Deep Neural Network)에 대한 옵션(option)과 캐시 프로파일(cache profile)에 대한 정보를 선택하는 과정;상기 옵션과 캐시 프로파일에 대한 정보를 상기 서버 측으로 전송하여 상기 옵션에 대응하는 SR DNN, 캐시 프로파일 및 비디오 뭉치(chunk)를 상기 서버로부터 획득하는 과정; 및상기 SR DNN을 이용하여 SR 집적 복호화기(SR-integrated decoder)를 초기화한 후, 상기 SR 집적 복호화기를 이용하여 상기 캐시 프로파일을 기반으로 상기 비디오 뭉치를 형성하는 현재 프레임에 대한 해상도를 향상시키는 과정 을 포함하되,상기 캐시 프로파일은 상기 현재 프레임이 상기 SR DNN을 적용하기 위한 앵커 프레임(anchor frame)인지 여부에 대한 데이터를 포함하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 2 |
2
제1항에 있어서,상기 매니페스트 파일은 상기 SR DNN의 옵션이 지원하는 모바일 디바이스 리스트를 더 포함하고, 상기 리스트를 이용하여 상기 모바일 디바이스의 컴퓨팅 용량(computing capacity)에 적합한 옵션을 선택하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 3 |
3
제1항에 있어서,상기 캐시 프로파일에 대한 정보는,상기 서버 측에 저장되는 캐시 프로파일의 위치인 것을 특징으로 하는 SR 가속을 위한 방법
|
| 4 |
4
제1항에 있어서,상기 해상도를 향상시키는 과정은, 상기 현재 프레임이 상기 앵커 프레임인 경우, 상기 SR 집적 복호화기가 상기 현재 프레임으로부터 저해상도 프레임을 복호화한 후, 상기 SR DNN을 적용하여 상기 저해상도 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 5 |
5
제1항에 있어서, 상기 해상도를 향상시키는 과정은, 상기 현재 프레임이 상기 앵커 프레임이 아닌 경우, 프레임 의존성(frame dependency)에 대한 정보 및 캐시된 이전 고해상도 프레임들을 기반으로, SR 집적 복호화기가 인터 예측 및 인트라 예측을 이용하여 상기 현재 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 6 |
6
모바일 디바이스 상에 탑재되는 SR(Super-Resolution) 가속을 위한 장치에 있어서,비디오에 대한 매니페스트 파일(manifest file)을 서버로부터 획득하고, 상기 매니페스트 파일로부터 SR DNN(Deep Neural Network)에 대한 옵션(option)과 캐시 프로파일(cache profile)에 대한 정보를 선택하며, 상기 옵션과 캐시프로파일에 대한 정보를 상기 서버 측으로 전송하여 상기 옵션에 대응하는 SR DNN, 캐시 프로파일 및 비디오 뭉치(chunk)를 상기 서버로부터 획득하는 입출력부; 및상기 SR DNN을 이용하여 SR 집적 복호화기(SR-integrated decoder)를 초기화한 후, 상기 SR 집적 복호화기를 이용하여 상기 캐시 프로파일을 기반으로 상기 비디오 뭉치를 형성하는 현재 프레임에 대한 해상도를 향상시키는 복호화부를 포함하되상기 캐시 프로파일은 상기 현재 프레임이 상기 SR DNN을 적용하기 위한 앵커 프레임(anchor frame)인지 여부에 대한 데이터를 포함하는 것을 특징으로 하는 SR 가속을 위한 장치
|
| 7 |
7
제6항에 있어서,상기 매니페스트 파일은 상기 SR DNN의 옵션이 지원하는 모바일 디바이스 리스트를 더 포함하고, 상기 리스트를 이용하여 상기 모바일 디바이스의 컴퓨팅 용량(computing capacity)에 적합한 옵션을 선택하는 것을 특징으로 하는 SR 가속을 위한 장치
|
| 8 |
8
제6항에 있어서,상기 캐시 프로파일에 대한 정보는,상기 서버 측에 저장되는 캐시 프로파일의 위치인 것을 특징으로 하는 SR 가속을 위한 장치
|
| 9 |
9
제6항에 있어서, 상기 복호화부는, 상기 현재 프레임이 상기 앵커 프레임인 경우, 상기 SR 집적 복호화기가 상기 현재 프레임으로부터 저해상도 프레임을 복호화한 후, 상기 SR DNN을 적용하여 상기 저해상도 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 장치
|
| 10 |
10
제6항에 있어서,상기 복호화부는, 상기 현재 프레임이 상기 앵커 프레임이 아닌 경우, 프레임 의존성(frame dependency)에 대한 정보 및 캐시된 이전 고해상도 프레임들을 기반으로, SR 집적 복호화기가 인터 예측 및 인트라 예측을 이용하여 상기 현재 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 장치
|
| 11 |
11
서버가 실행하는 SR(Super-Resolution) 가속을 위한 방법에 있어서, 비디오를 획득하는 과정;영상 부호화기(image encoder)를 이용하여 상기 비디오로부터 복수의 비트레이트(multiple bitrate)에 해당하는 비디오 버전(video version)을 생성하는 과정;상기 비디오 및 상기 복수의 비디오 버전을 이용하여 상응하는 복수의 SR 심층신경망(Deep Neural Network: DNN)을 트레이닝시키는 과정;기 설정된 품질 마진 이내에서 상기 비디오 버전으로부터 상기 각 SR DNN에 대한 앵커 프레임(anchor frame)을 선별하고, 상기 앵커 프레임에 대한 정보를 포함하는 캐시 프로파일(cache profile)을 생성하는 과정; 및상기 캐시 프로파일에 대한 정보, 및 상기 복수의 SR DNN에 대한 정보를 포함하는 매니페스트 파일(manifest file)을 생성하는 과정 을 포함하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 12 |
12
제11항에 있어서,상기 매니페스트 파일은,상기 각 SR DNN에 대한 옵션들(options) 각각이 지원하는 모바일 디바이스 리스트를 더 포함하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 13 |
13
제12항에 있어서, 모바일 디바이스가 상기 비디오를 요청하는 경우, 상기 매니페스트 파일을 상기 모바일 디바이스 측으로 전송하고, 상기 매니페스트 파일로부터 선택된 SR DNN에 대한 옵션과 캐시 프로파일에 대한 정보를 상기 모바일 디바이스로부터 획득한 후, 상기 옵션에 대응하는 SR DNN, 캐시 프로파일 및 비디오 버전의 뭉치를 상기 모바일 디바이스 측으로 전송하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 14 |
14
제11항에 있어서,상기 앵커 프레임을 선별하는 과정은,캐시 손실이 상기 품질 마진 이내로 유지되는 한도에서, 상기 앵커 프레임의 개수가 최소화되도록 선별하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 15 |
15
제14항에 있어서, 상기 캐시 손실은, 상기 비디오 버전의 모든 프레임에 상기 SR DNN을 적용한 경우와 상기 앵커 프레임에만 상기 SR DNN을 적용한 경우 간의 품질 차이인 것을 특징으로 하는 SR 가속을 위한 방법
|
| 16 |
16
제11항에 있어서, 상기 앵커 프레임을 선별하는 과정은,SR 집적 복호화기(SR-integrated decoder)를 이용하여 크기가 1인 앵커 프레임들의 모든 가능한 조합에 대한 품질을 측정한 결과에 근거하여, 상기 앵커 프레임의 집합에 대한 품질 이득을 산정함으로써 상기 앵커 프레임을 선별하기 위한 검색 공간의 크기를 감소시키는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 17 |
17
제16항에 있어서,상기 SR 집적 복호화기는,현재 프레임이 상기 앵커 프레임인 경우, 상기 현재 프레임으로부터 저해상도 프레임을 복호화한 후, 상기 SR DNN을 적용하여 상기 저해상도 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 18 |
18
제16항에 있어서, 상기 SR 집적 복호화기는,현재 프레임이 상기 앵커 프레임이 아닌 경우, 프레임 의존성(frame dependency)에 대한 정보 및 캐시된 이전 고해상도 프레임을 기반으로, 인터 예측 및 인트라 예측을 이용하여 상기 현재 프레임에 대한 고해상도 프레임을 생성 및 캐시하는 것을 특징으로 하는 SR 가속을 위한 방법
|
| 19 |
19
제11항에 있어서, 상기 캐시 프로파일은 상기 비디오 버전에 포함된 프레임이 상기 SR DNN을 적용하기 위한 앵커 프레임인지 여부에 대한 데이터를 포함하고, 상기 캐시 프로파일에 대한 정보는 상기 서버 측에 저장되는 캐시 프로파일의 위치인 것을 특징으로 하는 SR 가속을 위한 방법
|
| 20 |
20
제1항 내지 제5항 중 어느 한 항에 따른 모바일 디바이스가 실행하는 SR 가속을 위한 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램
|
| 21 |
21
제11항 내지 제19항 중 어느 한 항에 따른 서버가 실행하는 SR 가속을 위한 방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램
|
