| 1 |
1
입력 영상으로부터 피사체를 포함하는 전경 영상 및 상기 피사체를 제외한 나머지 객체들을 포함하는 배경 영상을 분리하는 단계;상기 입력 영상, 및 상기 전경 영상을 기초로 상기 피사체에 대한 카메라 프레이밍(camera framing)을 추정하는 단계;상기 입력 영상으로부터 옵티컬 플로우 맵(optical flow maps)을 추출하는 단계;상기 옵티컬 플로우 맵에 기초하여 특징 벡터를 구성하는 단계;상기 특징 벡터를 이용하여 카메라 워크(camera work)를 추정하는 단계; 및 상기 카메라 프레이밍 및 상기 카메라 워크 중 적어도 하나를 출력하는 단계를 포함하는, 영상 처리 방법
|
| 2 |
2
제1항에 있어서, 상기 전경 영상 및 상기 배경 영상을 분리하는 단계는미리 트레이닝된 제1신경망을 이용하여 상기 입력 영상으로부터 상기 전경 영상 및 상기 배경 영상을 분리하는 단계를 포함하는, 영상 처리 방법
|
| 3 |
3
제2항에 있어서, 상기 제1 신경망은컨볼루션 뉴럴 네트워크(Convolutional Neural Network; CNN)를 포함하는, 영상 처리 방법
|
| 4 |
4
제1항에 있어서, 상기 카메라 프레이밍을 추정하는 단계는상기 전경 영상에 포함된 피사체 정보를 이용하여 상기 입력 영상으로부터 상기 피사체의 특징점들을 추출하는 단계; 및 상기 피사체의 특징점들로부터 상기 피사체에 대한 카메라 프레이밍을 추정하는 단계를 포함하는, 영상 처리 방법
|
| 5 |
5
제4항에 있어서, 상기 피사체는 사람을 포함하고, 상기 피사체의 특징점들은 상기 사람의 눈, 코, 귀, 목, 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 중 적어도 하나를 포함하는, 영상 처리 방법
|
| 6 |
6
제1항에 있어서, 상기 카메라 프레이밍은클로즈 업(close-up), 바스트(bust), 미디엄(medium), 니(knee), 풀(full), 및 롱(long) 중 적어도 하나의 피사체 배치 구조를 포함하는, 영상 처리 방법
|
| 7 |
7
제1항에 있어서, 상기 옵티컬 플로우 맵을 추출하는 단계는상기 입력 영상에 대응하는 현재 프레임 및 상기 현재 프레임의 이전 프레임을 이용하여 상기 옵티컬 플로우 맵을 추출하는 단계를 포함하는, 영상 처리 방법
|
| 8 |
8
제7항에 있어서, 상기 옵티컬 플로우 멥에 포함된 각 픽셀들은 방향성 및 크기를 포함하는 벡터를 가지는, 영상 처리 방법
|
| 9 |
9
제1항에 있어서, 상기 특징 벡터를 구성하는 단계는삼등분 법칙을 이용하여 상기 옵티컬 플로우 맵을 복수의 구역들로 분할하는 단계; 및 상기 분할된 복수의 구역들 중 적어도 일부 구역에 대응하는 벡터들에 기초하여 상기 특징 벡터를 구성하는 단계를 포함하는, 영상 처리 방법
|
| 10 |
10
제9항에 있어서, 상기 벡터들에 기초하여 상기 특징 벡터를 구성하는 단계는상기 벡터들의 방향성 성분을 이용하여 상기 구역들 별로 히스토그램(histogram)을 생성하는 단계; 및 상기 구역 별 히스토그램을 통합함으로써 상기 특징 벡터를 구성하는 단계를 포함하는, 영상 처리 방법
|
| 11 |
11
제1항에 있어서, 상기 카메라 워크를 추정하는 단계는상기 특징 벡터를 미리 트레이닝된 제2 신경망에 인가함으로써 상기 카메라 워크를 추정하는 단계를 포함하는, 영상 처리 방법
|
| 12 |
12
제11항에 있어서, 상기 제2 신경망은 카메라 프레이밍 및 카메라 워크가 레이블링된 복수의 트레이닝 영상들을 이용하여 트레이닝된 것인, 영상 처리 방법
|
| 13 |
13
제11항에 있어서, 상기 제2 신경망은 MLP(Multi-Layer Perceptrons) 모델을 포함하는, 영상 처리 방법
|
| 14 |
14
제1항에 있어서, 상기 카메라 워크는팬(fan), 틸트(tilt), 오빗(orbit), 크레인(crane), 트랙(track), 및 스테틱(static) 중 적어도 하나의 카메라 움직임을 포함하는, 영상 처리 방법
|
| 15 |
15
하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램
|
| 16 |
16
입력 영상을 수신하는 통신 인터페이스; 및 상기 입력 영상으로부터 피사체를 포함하는 전경 영상 및 상기 피사체를 제외한 나머지 객체들을 포함하는 배경 영상을 분리하고, 상기 입력 영상, 및 상기 전경 영상을 기초로 상기 피사체에 대한 카메라 프레이밍을 추정하고, 상기 입력 영상으로부터 옵티컬 플로우 맵을 추출하고, 상기 옵티컬 플로우 맵에 기초하여 특징 벡터를 구성하며, 상기 특징 벡터를 이용하여 카메라 워크를 추정하는 프로세서를 포함하고, 상기 통신 인터페이스는 상기 카메라 프레이밍, 및 상기 카메라 워크 중 적어도 하나를 출력하는, 영상 처리 장치
|
| 17 |
17
제16항에 있어서, 상기 프로세서는 미리 트레이닝된 제1신경망을 이용하여 상기 입력 영상으로부터 상기 전경 영상 및 상기 배경 영상을 분리하는, 영상 처리 장치
|
| 18 |
18
제16항에 있어서, 상기 프로세서는 상기 입력 영상에 대응하는 현재 프레임 및 상기 현재 프레임의 이전 프레임을 이용하여 상기 옵티컬 플로우 맵을 추출하는, 영상 처리 장치
|
| 19 |
19
제16항에 있어서, 상기 프로세서는삼등분 법칙을 이용하여 상기 옵티컬 플로우 맵을 복수의 구역들로 분할하고, 상기 분할된 복수의 구역들 중 적어도 일부 구역에 대응하는 벡터들의 방향성 성분을 이용하여 구역 별 히스토그램을 생성하며, 상기 구역 별 히스토그램을 통합함으로써 상기 특징 벡터를 구성하는, 영상 처리 장치
|
