| 1 |
1
고해상도의 원본 동영상에 기초한 저해상도의 전송 동영상을 수신하는 단계;상기 전송 동영상에 포함된 오브젝트들 간의 상호 작용과 관련된 제어 장치의 동작 정보, 및 상기 오브젝트들, 또는 제어 장치의 위치 정보를 수신하는 단계;상기 전송 동영상과 상기 동작 정보 및 상기 위치 정보를 이용하여 상기 원본 동영상에 포함되어 있으나 상기 전송 동영상에 누락된 프레임에서의 상기 오브젝트들 간의 상호 작용 힘(Interaction force)의 변화에 대한 예측 이미지들을 생성하는 단계; 및상기 예측 이미지들 중에 진짜 이미지(real image)를 판별하여 상기 원본 동영상에 대응되는 고해상도의 출력 동영상을 생성하는 단계를 포함하는 고해상도 동영상 생성 방법
|
| 2 |
2
제1항에 있어서, 상기 전송 동영상은,오브젝트들 간의 상호 작용을 촬영하여 생성한 고해상도의 원본 동영상에서 추출한 일부의 프레임들로 구성된 동영상인 고해상도 동영상 생성 방법
|
| 3 |
3
제1항에 있어서, 상기 동작 정보는,상기 제어 장치가 상기 오브젝트에 가하는 힘, 상기 오브젝트에 대한 상기 제어 장치의 그립 각도 중 적어도 하나를 포함하는 고해상도 동영상 생성 방법
|
| 4 |
4
제1항에 있어서, 상기 원본 동영상의 프레임들 중에서 상기 전송 동영상에 포함되지 않은 프레임을 상기 진짜 이미지로 판별된 예측 이미지들과 비교하는 단계; 및비교 결과에 따라 판별 모델을 학습하는 단계를 더 포함하는 고해상도 동영상 생성 방법
|
| 5 |
5
제1항에 있어서, 상기 고해상도 동영상을 생성하는 단계는,판별 모델을 이용하여 상기 예측 이미지들을 진짜 이미지 또는 가짜 이미지(fake image)로 판별하고, 진짜 이미지로 판별된 예측 이미지들을 결합하여 상기 출력 동영상을 생성하는 고해상도 동영상 생성 방법
|
| 6 |
6
제5항에 있어서, 상기 진짜 이미지는, 상기 원본 동영상의 프레임들 중에서 전송 동영상으로 추출되지 않은 프레임과의 유사도가 임계값 이상인 예측 이미지이고, 상기 가짜 이미지는, 상기 원본 동영상의 프레임들 중에서 전송 동영상으로 추출되지 않은 프레임과의 유사도가 임계값 미만인 예측 이미지인 고해상도 동영상 생성 방법
|
| 7 |
7
제5항에 있어서, 상기 판별 모델은, 테스트용 전송 동영상들, 상기 테스트용 전송 동영상들에 포함된 오브젝트들 간의 상호 작용과 관련된 제어 장치의 동작 정보, 및 상기 오브젝트들, 또는 제어 장치의 위치 정보를 이용하여 상기 오브젝트들 간의 상호 작용 힘의 변화에 대한 테스트 예측 이미지들을 생성하고,테스트용 전송 동영상과 검증 정보를 이용하여 상기 테스트 예측 이미지들 중에서 진짜 이미지를 판별하기 위한 진짜 특징 정보를 학습하며, 상기 테스트용 전송 동영상과 상기 예측 이미지를 이용하여 상기 테스트 예측 이미지들 중에서 가짜 이미지를 판별하기 위한 가짜 특징 정보를 학습하는 고해상도 동영상 생성 방법
|
| 8 |
8
제5항에 있어서, 상기 판별 모델은, 상기 동작 정보, 및 상기 위치 정보를 LSTM-FC(Long Short Term Memory - Fully Connected) 네트워크에 입력하여 제1 특징 맵을 생성하고, 테스트용 전송 동영상들이 촬영된 시간과 상기 테스트용 전송 동영상들을 획득한 시간 간의 차이를 나타내는 시간 정보를 상기 제1 특징 맵과 병합하여 제2 특징 맵을 생성하며, 상기 테스트용 전송 동영상들을 부호화하여 제3 특징 맵을 생성하고,상기 제3 특징 맵과 상기 제2 특징 맵을 병합하여 제4 특징 맵을 생성하며,상기 제4 특징 맵을 복호화하여 상기 예측 이미지들을 생성하는 고해상도 동영상 생성 방법
|
| 9 |
9
제5항에 있어서, 상기 판별 모델은, 테스트 예측 이미지와 검증 정보를 이용하여 MSE(Mean squared error) 손실 함수, GDL(Gradient Difference loss) 손실 함수, 및 적대적(Adversarial) 손실 함수를 결정하고, 상기 MSE 손실 함수, 상기 GDL 손실 함수, 및 상기 적대적 손실 함수를 조합하여 진짜 특징 정보 및 가짜 특징 정보를 학습하는 판별기의 손실 함수를 결정하는 고해상도 동영상 생성 방법
|
| 10 |
10
제1항에 있어서, 상기 전송 동영상은,상기 고해상도의 원본 동영상이 촬영된 시점으로부터 일정 시간 이상 지연된 시간에 수신되는 이전 시간의 동영상이고, 상기 예측 이미지들을 생성하는 단계는,상기 동작 정보 및 상기 위치 정보를 이용하여 상기 전송 동영상에 누락된 프레임 및 상기 전송 동영상에 포함된 프레임의 현재 시간에서의 상기 오브젝트들 간의 상호 작용 힘의 변화에 대한 예측 이미지들을 생성하는 동영상 생성 방법
|
| 11 |
11
전송 과정에서의 지연에 따라 이전 시간의 동영상을 수신하는 단계;상기 동영상에 포함된 오브젝트들 간의 상호 작용과 관련된 제어 장치의 현재 동작 정보, 및 상기 오브젝트들, 또는 제어 장치의 현재 위치 정보를 수신하는 단계;상기 이전 시간의 동영상과 상기 현재 동작 정보 및 상기 현재 위치 정보를 이용하여 현재 시간에서의 상기 오브젝트들 간의 상호 작용 힘(Interaction force)의 변화에 대한 예측 이미지들을 생성하는 단계; 및상기 예측 이미지들 중에 진짜 이미지(real image)를 판별하여 현재 시간의 동영상을 생성하는 단계를 포함하는 실시간 동영상 생성 방법
|
| 12 |
12
제11항에 있어서, 상기 이전 시간의 동영상은,카메라가 이전 시간에 오브젝트들 간의 상호 작용을 촬영하여 생성한 동영상이 전송 과정에서 지연되어 현재 시간에 수신한 동영상인 실시간 동영상 생성 방법
|
| 13 |
13
제11항에 있어서, 상기 이전 시간의 동영상은,카메라가 이전 시간에 오브젝트들 간의 상호 작용을 촬영하여 생성한 고해상도의 원본 동영상에서 추출한 일부의 프레임들로 구성된 저해상도의 전송 동영상인 실시간 동영상 생성 방법
|
| 14 |
14
제13항에 있어서, 상기 예측 이미지들을 생성하는 단계는,상기 원본 동영상에 포함되어 있으나 상기 전송 동영상에 누락된 프레임의 현재 시간에서의 상기 오브젝트들 간의 상호 작용 힘의 변화에 대한 예측 이미지들을 생성하는 실시간 동영상 생성 방법
|
| 15 |
15
고해상도의 원본 동영상에 기초한 저해상도의 전송 동영상을 수신하는 이미지 수신부;상기 전송 동영상에 포함된 오브젝트들 간의 상호 작용과 관련된 제어 장치의 동작 정보, 및 상기 오브젝트들, 또는 제어 장치의 위치 정보를 수신하는 동작 정보 수신부;상기 전송 동영상과 상기 동작 정보 및 상기 위치 정보를 이용하여 상기 원본 동영상에 포함되어 있으나 상기 전송 동영상에 누락된 프레임에서의 상기 오브젝트들 간의 상호 작용 힘(Interaction force)의 변화에 대한 예측 이미지들을 생성하는 예측 이미지 생성부; 및상기 예측 이미지들 중에 진짜 이미지(real image)를 판별하여 상기 원본 동영상에 대응되는 고해상도의 출력 동영상을 생성하는 동영상 생성부를 포함하는 동영상 생성 장치
|
