| 1 |
1
입력 프레임 사이의 중간 프레임을 획득하는 방법에 있어서,제1 입력 프레임, 제2 입력 프레임 및 제3 입력 프레임의 3개의 연속적인 입력 프레임을 획득하는 동작;상기 3개의 연속적인 입력 프레임에 기초하여 각 입력 프레임의 광학 흐름 특징을 포함하는 8개의 흐름 맵(flow map)을 획득하는 동작;획득한 상기 8개의 흐름 맵에 기초하여 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵을 획득하는 동작;획득한 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵의 흐름 정보에 기초하여 상기 3개의 입력 프레임을 와핑(warping)하여 와핑된 프레임을 생성하는 동작; 및상기 와핑된 프레임에 기초하여 상기 제1 입력 프레임과 상기 제2 입력 프레임의 중간 프레임(이하 제1 중간 프레임) 및 상기 제2 입력 프레임과 상기 제3 입력 프레임의 중간 프레임(이하 제2 중간 프레임)을 생성하는 동작을 포함하는, 방법
|
| 2 |
2
제1항에 있어서, 상기 3개의 입력 프레임에 기초하여 각 입력 프레임의 광학 흐름 특징을 포함하는 8개의 흐름 맵을 추출하는 동작은,첫번째 입력으로 상기 제1 입력 프레임을 사용하고 두번째 입력으로 상기 제2 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제1 가중치를 곱하여 제1 흐름 맵을 획득하는 동작;첫번째 입력으로 상기 제2 입력 프레임을 사용하고 두번째 입력으로 상기 제1 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제2 가중치를 곱하여 제2 흐름 맵을 획득하는 동작;첫번째 입력으로 상기 제2 입력 프레임을 사용하고 두번째 입력으로 상기 제3 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제3 가중치를 곱하여 제3 흐름 맵을 획득하는 동작;첫번째 입력으로 상기 제3 입력 프레임을 사용하고 두번째 입력으로 상기 제2 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제4 가중치를 곱하여 제4 흐름 맵을 획득하는 동작;첫번째 입력으로 상기 제1 입력 프레임을 사용하고 두번째 입력으로 상기 제3 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제5 가중치를 곱하여 제5 흐름 맵을 획득하고, 제6 가중치를 곱하여 제6 흐름 맵을 획득하는 동작; 및첫번째 입력으로 상기 제3 입력 프레임을 사용하고 두번째 입력으로 상기 제1 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제7 가중치를 곱하여 제7 흐름 맵을 획득하고, 제8 가중치를 곱하여 제8 흐름 맵을 획득하는 동작을 포함하는 방법
|
| 3 |
3
제2항에 있어서, 상기 제1 가중치 내지 제8 가중치는 상기 3개의 연속적인 입력 프레임들에서 상기 중간 프레임 사이의 시간 거리에 기초하여 결정되는, 방법
|
| 4 |
4
제3항에 있어서, 상기 제1 가중치 내지 제4 가중치는 0
|
| 5 |
5
제2항에 있어서, 획득한 상기 8개의 흐름 맵에 기초하여 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵을 획득하는 동작은,상기 제1 흐름 맵 내지 상기 제8 흐름 맵을 입력으로 하는 U-Net 구조의 심층 신경망을 사용하여 상기 제1 입력 프레임에서 상기 제1 중간 프레임으로의 제9 흐름 맵, 상기 제2 입력 프레임에서 상기 제1 중간 프레임으로의 제10 흐름 맵, 상기 제2 입력 프레임에서 상기 제2 중간 프레임으로의 제11 흐름 맵, 상기 제3 입력 프레임에서 상기 제3 중간 프레임으로의 제12 흐름 맵을 획득하는 동작을 포함하는, 방법
|
| 6 |
6
제5항에 있어서, 상기 획득한 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵의 흐름 정보를 상기 3개의 입력 프레임에 와핑(warping)하여 와핑된 프레임을 생성하는 동작은,상기 제9 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제1 입력 프레임을 와핑하여 제1 와핑된 프레임을 생성하는 동작;상기 제10 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제2 입력 프레임을 와핑하여 제2 와핑된 프레임을 생성하는 동작;상기 제11 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제2 입력 프레임을 와핑하여 제3 와핑된 프레임을 생성하는 동작;상기 제12 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제3 입력 프레임을 와핑하여 제4 와핑된 프레임을 생성하는 동작을 포함하는 방법
|
| 7 |
7
제1항의 입력 프레임 사이의 중간 프레임을 획득하는 방법에 사용되는 심층 신경망을 학습시키는 방법에 있어서,5개의 연속적인 영상 프레임을 획득하는 동작;증강 객체를 상기 5개의 연속적인 영상 프레임에 덮어씌우는 동작;상기 증강 객체가 덮어씌워진 5개의 연속적인 영상 프레임에서 첫번째, 세번째, 다섯번째 영상 프레임을 상기 심층 신경망의 입력으로 하여 제3 중간 프레임 및 제4 중간 프레임을 생성하는 동작;상기 제3 중간 프레임 및 상기 제4 중간 프레임과 상기 증강 객체가 덮어씌워진 5개의 연속적인 영상 프레임의 두번째 영상 프레임 및 네번째 영상 프레임과 비교하는 동작;상기 비교 결과에 기초하여 상기 심층 신경망을 학습시키는 동작을 포함하는, 방법
|
| 8 |
8
제7항에 있어서,상기 증강 객체를 상기 5개의 연속적인 영상 프레임에 덮어씌우는 동작은,상기 증강 객체가 임의의 방향으로 직선으로 움직이고, 연속하는 영상 프레임에서 상기 증강 객체의 위치가 적어도 30 픽셀이상 차이가 나도록 상기 증강 객체를 상기 5개의 연속적인 영상 프레임에 덮어씌우는 동작을 포함하는, 방법
|
| 9 |
9
전자 장치에 있어서,입력부;출력부;메모리 및상기 입력부, 상기 출력부, 상기 메모리와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,제1 입력 프레임, 제2 입력 프레임 및 제3 입력 프레임의 3개의 연속적인 입력 프레임을 획득하고,상기 3개의 연속적인 입력 프레임에 기초하여 각 입력 프레임의 광학 흐름 특징을 포함하는 8개의 흐름 맵(flow map)을 획득하고,획득한 상기 8개의 흐름 맵에 기초하여 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵을 획득하고,획득한 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵의 흐름 정보에 기초하여 상기 3개의 입력 프레임을 와핑(warping)하여 와핑된 프레임을 생성하고, 상기 와핑된 프레임에 기초하여 상기 제1 입력 프레임과 상기 제2 입력 프레임의 중간 프레임(이하 제1 중간 프레임) 및 상기 제2 입력 프레임과 상기 제3 입력 프레임의 중간 프레임(이하 제2 중간 프레임)을 생성하는, 전자 장치
|
| 10 |
10
제9항에 있어서, 상기 적어도 하나의 프로세서는,첫번째 입력으로 상기 제1 입력 프레임을 사용하고 두번째 입력으로 상기 제2 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제1 가중치를 곱하여 제1 흐름 맵을 획득하고,첫번째 입력으로 상기 제2 입력 프레임을 사용하고 두번째 입력으로 상기 제1 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제2 가중치를 곱하여 제2 흐름 맵을 획득하고,첫번째 입력으로 상기 제2 입력 프레임을 사용하고 두번째 입력으로 상기 제3 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제3 가중치를 곱하여 제3 흐름 맵을 획득하고,첫번째 입력으로 상기 제3 입력 프레임을 사용하고 두번째 입력으로 상기 제2 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제4 가중치를 곱하여 제4 흐름 맵을 획득하고,첫번째 입력으로 상기 제1 입력 프레임을 사용하고 두번째 입력으로 상기 제3 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제5 가중치를 곱하여 제5 흐름 맵을 획득하고, 제6 가중치를 곱하여 제6 흐름 맵을 획득하고,첫번째 입력으로 상기 제3 입력 프레임을 사용하고 두번째 입력으로 상기 제1 입력 프레임을 사용하는 PMC-net 구조의 심층 신경망을 이용하여 광학 흐름 특징을 포함하는 흐름 맵을 추출하고, 제7 가중치를 곱하여 제7 흐름 맵을 획득하고, 제8 가중치를 곱하여 제8 흐름 맵을 획득하여,상기 3개의 입력 프레임에 기초하여 각 입력 프레임의 광학 흐름 특징을 포함하는 8개의 흐름 맵(flow map)을 획득하는, 전자 장치
|
| 11 |
11
제10항에 있어서, 상기 제1 가중치 내지 제8 가중치는 상기 3개의 연속적인 입력 프레임들에서 상기 중간 프레임 사이의 시간 거리에 기초하여 결정되는, 전자 장치
|
| 12 |
12
제11항에 있어서, 상기 제1 가중치 내지 제4 가중치는 0
|
| 13 |
13
제10항에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 흐름 맵 내지 상기 제8 흐름 맵을 입력으로 하는 U-Net 구조의 심층 신경망을 사용하여 상기 제1 입력 프레임에서 상기 제1 중간 프레임으로의 제9 흐름 맵, 상기 제2 입력 프레임에서 상기 제1 중간 프레임으로의 제10 흐름 맵, 상기 제2 입력 프레임에서 상기 제2 중간 프레임으로의 제11 흐름 맵, 상기 제3 입력 프레임에서 상기 제3 중간 프레임으로의 제12 흐름 맵을 획득하는, 전자 장치
|
| 14 |
14
제13항에 있어서, 상기 적어도 하나의 프로세서는,상기 제9 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제1 입력 프레임을 와핑하여 제1 와핑된 프레임을 생성하고,상기 제10 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제2 입력 프레임을 와핑하여 제2 와핑된 프레임을 생성하고,상기 제11 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제2 입력 프레임을 와핑하여 제3 와핑된 프레임을 생성하고,상기 제12 흐름 맵에 포함된 흐름 특징 정보에 기초하여 상기 제3 입력 프레임을 와핑하여 제4 와핑된 프레임을 생성하는 전자 장치
|
| 15 |
15
전자 장치에 있어서,입력부;출력부;메모리 및상기 입력부, 상기 출력부, 상기 메모리와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,5개의 연속적인 영상 프레임을 획득하고,증강 객체를 상기 5개의 연속적인 영상 프레임에 덮어씌우고, 상기 증강 객체가 덮어씌워진 5개의 연속적인 영상 프레임에서 첫번째, 세번째, 다섯번째 영상 프레임을 제1항의 입력 프레임 사이의 중간 프레임을 획득하는 방법에 사용되는 심층 신경망의 입력으로 하여 제3 중간 프레임 및 제4 중간 프레임을 생성하고,상기 제3 중간 프레임 및 상기 제4 중간 프레임과 상기 증강 객체가 덮어씌워진 5개의 연속적인 영상 프레임의 두번째 영상 프레임 및 네번째 영상 프레임과 비교하고,상기 비교 결과에 기초하여 상기 심층 신경망을 학습시키는, 전자 장치
|
| 16 |
16
제15항에 있어서,상기 적어도 하나의 프로세서는,상기 증강 객체가 임의의 방향으로 직선으로 움직이고, 연속하는 영상 프레임에서 상기 증강 객체의 위치가 적어도 30 픽셀이상 차이가 나도록 상기 증강 객체를 상기 5개의 연속적인 영상 프레임에 덮어씌우는, 전자 장치
|
| 17 |
17
컴퓨터 상에서 실행될 때, 제1항 내지 제8항 중 어느 하나의 항에 따른 방법을 구현하는 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능한 저장 매체
|
