| 1 |
1
프로세서 및 메모리를 포함하는 장치가 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법에 있어서, (a) 하나 이상의 촬영 장비로부터 하나 이상의 동영상 데이터를 수신하고, 이를 이용하여 상기 수신한 동영상 데이터가 나타내고 있는 오브젝트(Object)를 임의의 시점에서 바라볼 수 있는 하나 이상의 3D 모델을 생성하는 제1 단계;(b) 상기 생성한 3D 모델로부터 고수준 특징자(High-level Feature) 및 탐지 정보를 추출하는 제2 단계; 및(c) 하나 이상의 촬영 관련 정보를 수신하고, 상기 생성한 3D 모델과 상기 추출한 고수준 특징자 및 탐지 정보, 상기 수신한 촬영 관련 정보를 이용하여 사용자로부터 선택 받은 오브젝트를 중심으로 상기 촬영 관련 정보가 적용된 장면(Scene)을 상기 3D 모델로부터 추출하여 고품질 동영상을 생성하는 제3 단계;를 포함하는 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법에 있어서, 상기 제1 단계는, (a-1) 상기 수신한 하나 이상의 동영상 데이터에 대한 전처리를 수행하는 제1-1 단계; 및(a-2) 상기 전처리를 수행한 하나 이상의 동영상 데이터를 학습이 완료된 암시적 신경망(Implicit Neural Network) 기반의 인공지능 모델에 입력하여 하나 이상의 3D 모델을 출력하는 제1-2 단계; 중 어느 하나 이상을 포함하며, 상기 (a-2) 단계에서 출력한 3D 모델이 복수 개라면, 상기 (a-2) 단계 이후에, (a-3) 상기 출력한 복수 개의 3D 모델을 정규화하여 최종적인 3D 모델을 복수 개 생성하는 제1-3 단계;를 더 포함하며, 상기 (a-3) 단계에서의 정규화는, 상기 복수 개의 3D 모델 사이의 관계 분석을 통해 겹치는 부분이 많은 3D 모델 간의 유사도는 높게, 겹치는 부분이 적은 3D 모델 간의 유사도는 낮게하는 손실함수를 이용하여 이루어지는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 2 |
2
삭제
|
| 3 |
3
제1항에 있어서, 상기 (a-1) 단계에서의 전처리는, 상기 동영상 데이터의 크기 조절, 해상도 조절, 프레임 샘플링 및 소정 크기 이상의 동영상 데이터의 경우 비디오 분할(Video Segmentation) 기법을 활용하여 일정 단위 길이의 청크(Chunk) 영상들로의 가공 중 어느 하나 이상을 포함하는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 4 |
4
제1항에 있어서, 상기 (a-2) 단계에서의 학습은, 상기 전처리를 수행한 하나 이상의 동영상 데이터에서 특정 시간과 시점에 해당하는 프레임 단위 표현자(Representation)의 학습 및 프레임 내 정적(Static), 동적(Dynamic), 신규(New) 오브젝트에 대한 성분 분리(Decomposition) 학습 중 어느 하나 이상인, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 5 |
5
삭제
|
| 6 |
6
제1항에 있어서, 상기 제2 단계는, (b-1) 상기 생성한 하나 이상의 3D 모델로부터 복수의 시점 및 시간대에서의 3차원 장면을 추출하는 제2-1 단계; (b-2) 상기 추출한 3차원 장면을 합성곱 신경망(Convolution Neural Network) 기반 인공지능 모델 또는 트랜스포머(Transformer) 기반 인공지능 모델에 입력하여 각 3차원 장면의 특징인 고수준 특징자를 추출하는 제2-2 단계; 및(b-3) 상기 추출한 고수준 특징자를 이용하여 상기 추출한 3차원 장면의 이해 및 탐지를 진행하고 상기 탐지 정보를 추출하는 제2-3 단계;중 어느 하나 이상을 포함하는 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 7 |
7
제6항에 있어서, 상기 (b-3) 단계에서의 3차원 장면의 이해 및 탐지는, 오브젝트 탐지 및 사람-오브젝트 간 상호 작용 탐지(Human-Object Interaction Detection) 중 어느 하나 이상을 포함하는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 8 |
8
제7항에 있어서, 상기 탐지 정보는, 상기 오브젝트 탐지의 진행에 따른 상기 3차원 장면 내에서 오브젝트가 있을 만한 영역에 대한 식별 정보, 해당 오브젝트의 종류에 대한 분류 정보, 상기 사람-오브젝트 간 상호 작용 탐지의 진행에 따른 상기 3차원 장면 내에서 사람과 오브젝트의 탐지 정보 및 상기 탐지한 사람과 오브젝트 사이에서 이루어지는 상호 작용의 종류에 대한 분류 정보 중 어느 하나 이상을 포함하는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 9 |
9
제1항에 있어서, 상기 제3 단계는, (c-1) 상기 생성한 3D 모델과 상기 추출한 고수준 특징자 및 탐지 정보, 상기 수신한 촬영 관련 정보를 이용하여 초점 거리(Focal Length), 주점(Principal Point) 및 뒤틀림 계수(Skew Coefficient) 중 어느 하나 이상에 대한 내적 파라미터(Intrinsic Parameter)를 산출하는 제3-1 단계;(c-2) 상기 생성한 3D 모델과 상기 추출한 고수준 특징자 및 탐지 정보, 상기 수신한 촬영 관련 정보를 이용하여 회전 및 평행이동 중 어느 하나 이상에 대한 외적 파라미터(Extrinsic Parameter)를 산출하는 제3-2 단계; 및(c-3) 상기 산출한 내적 파라미터 및 외적 파라미터와 상기 수신한 촬영 관련 정보를 이용하여 상기 사용자로부터 선택 받은 오브젝트를 중심으로 상기 촬영 관련 정보가 반영된 장면을 상기 3D 모델로부터 추출하는 제3-3 단계;중 어느 하나 이상을 포함하는 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 10 |
10
제9항에 있어서, 상기 (c-3) 단계 이후에,(c-4) 상기 3D 모델로부터 추출한 장면을 3차원 렌더링하여 고품질 동영상을 생성하는 제3-4 단계;를 더 포함하는 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 11 |
11
제1항에 있어서,상기 촬영 관련 정보는, 촬영 시점에 대한 정보, 촬영한 카메라 종류에 대한 정보 및 오브젝트의 종류에 대한 정보 중 어느 하나 이상을 포함하는 촬영 정보와 줌(Zoom), 팬(Pan), 틸트(Tilt) 및 달리(Dolly) 중 어느 하나 이상을 포함하는 전문 카메라 촬영 기법 정보 중 어느 하나 이상을 포함하는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 방법
|
| 12 |
12
하나 이상의 프로세서;네트워크 인터페이스;상기 프로세서에 의해 수행되는 컴퓨터 프로그램을 로드(Load)하는 메모리; 및대용량 네트워크 데이터 및 상기 컴퓨터 프로그램을 저장하는 스토리지를 포함하되,상기 컴퓨터 프로그램은 상기 하나 이상의 프로세서에 의해,(A) 하나 이상의 촬영 장비로부터 하나 이상의 동영상 데이터를 수신하고, 이를 이용하여 상기 수신한 동영상 데이터가 나타내고 있는 오브젝트(Object)를 임의의 시점에서 바라볼 수 있는 하나 이상의 3D 모델을 생성하는 제1 오퍼레이션;(B) 상기 생성한 3D 모델로부터 고수준 특징자(High-level Feature) 및 탐지 정보를 추출하는 제2 오퍼레이션; 및(C) 하나 이상의 촬영 관련 정보를 수신하고, 상기 생성한 3D 모델과 상기 추출한 고수준 특징자 및 탐지 정보, 상기 수신한 촬영 관련 정보를 이용하여 사용자로부터 선택 받은 오브젝트를 중심으로 상기 촬영 관련 정보가 적용된 장면(Scene)을 상기 3D 모델로부터 추출하여 고품질 동영상을 생성하는 제3 오퍼레이션;을 실행하는 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 장치에 있어서, 상기 제1 오퍼레이션은, (A-1) 상기 수신한 하나 이상의 동영상 데이터에 대한 전처리를 수행하는 제1-1 오퍼레이션; 및(A-2) 상기 전처리를 수행한 하나 이상의 동영상 데이터를 학습이 완료된 암시적 신경망(Implicit Neural Network) 기반의 인공지능 모델에 입력하여 하나 이상의 3D 모델을 출력하는 제1-2 오퍼레이션; 중 어느 하나 이상을 포함하며, 상기 (A-2) 오퍼레이션에서 출력한 3D 모델이 복수 개라면, 상기 (A-2) 오퍼레이션 이후에, (A-3) 상기 출력한 복수 개의 3D 모델을 정규화하여 최종적인 3D 모델을 복수 개 생성하는 제1-3 오퍼레이션;을 더 포함하며, 상기 (A-3) 오퍼레이션에서의 정규화는, 상기 복수 개의 3D 모델 사이의 관계 분석을 통해 겹치는 부분이 많은 3D 모델 간의 유사도는 높게, 겹치는 부분이 적은 3D 모델 간의 유사도는 낮게하는 손실함수를 이용하여 이루어지는, 전문 촬영 기법이 적용된 고품질 동영상을 생성하는 장치
|
| 13 |
13
컴퓨팅 장치와 결합하여,(AA) 하나 이상의 촬영 장비로부터 하나 이상의 동영상 데이터를 수신하고, 이를 이용하여 상기 수신한 동영상 데이터가 나타내고 있는 오브젝트(Object)를 임의의 시점에서 바라볼 수 있는 하나 이상의 3D 모델을 생성하는 제1 단계;(BB) 상기 생성한 3D 모델로부터 고수준 특징자(High-level Feature) 및 탐지 정보를 추출하는 제2 단계; 및(CC) 하나 이상의 촬영 관련 정보를 수신하고, 상기 생성한 3D 모델과 상기 추출한 고수준 특징자 및 탐지 정보, 상기 수신한 촬영 관련 정보를 이용하여 사용자로부터 선택 받은 오브젝트를 중심으로 상기 촬영 관련 정보가 적용된 장면(Scene)을 상기 3D 모델로부터 추출하여 고품질 동영상을 생성하는 제3 단계;를 실행하는 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 제1 단계는, (AA-1) 상기 수신한 하나 이상의 동영상 데이터에 대한 전처리를 수행하는 제1-1 단계; 및(AA-2) 상기 전처리를 수행한 하나 이상의 동영상 데이터를 학습이 완료된 암시적 신경망(Implicit Neural Network) 기반의 인공지능 모델에 입력하여 하나 이상의 3D 모델을 출력하는 제1-2 단계; 중 어느 하나 이상을 포함하며, 상기 (AA-2) 단계에서 출력한 3D 모델이 복수 개라면, 상기 (AA-2) 단계 이후에, (AA-3) 상기 출력한 복수 개의 3D 모델을 정규화하여 최종적인 3D 모델을 복수 개 생성하는 제1-3 단계;를 더 포함하며, 상기 (AA-3) 단계에서의 정규화는, 상기 복수 개의 3D 모델 사이의 관계 분석을 통해 겹치는 부분이 많은 3D 모델 간의 유사도는 높게, 겹치는 부분이 적은 3D 모델 간의 유사도는 낮게하는 손실함수를 이용하여 이루어지는, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램
|
