| 1 |
1
입력된 2차원 영상에서 사람의 신체 부위를 검출하는 신체 부위 검출부;상기 검출된 신체 부위를 기초로 가시적 신체 부위 형상과 포즈를 추정하는 가시적 신체 부위 추정부;상기 신체 부위와 상기 신체 부위의 형상 및 포즈를 기초로 비가시적 신체 부위의 형상과 포즈를 생성하는 비가시적 신체 부위 생성부;상기 가시적 신체 부위 형상과 포즈 및 상기 비가시적 신체 부위 형상과 포즈를 기초로 전신 형상과 포즈를 추정하는 신체 추정부; 및서버에 미리 모델링된 가상 아바타와 동기화시키기 위해 상기 추정된 전신 형상과 포즈를 인코딩하여 송신하는 가상 아바타 동기화부;를 포함하는 가상 아바타 동기화 장치
|
| 2 |
2
제1항에 있어서,상기 2차원 영상을 수집하는 영상 수집부를 더 포함하는 가상 아바타 동기화 장치
|
| 3 |
3
제1항에 있어서,상기 신체 부위 검출부는,상기 2차원 영상 내에 신체가 위치하는 영역을 박스 영역으로 검출하는 신체부위 검출모듈; 및상기 박스 영역 내에서 신체 부위를 분류하는 신체부위 분류모듈;을 포함하는 가상 아바타 동기화 장치
|
| 4 |
4
제3항에 있어서,상기 신체부위 검출모듈은,심층 신경망을 이용하여 주요 부위의 관절 위치 점들을 예측하고, 상기 관절 위치 점들을 기초로 상기 박스 영역을 검출하는 가상 아바타 동기화 장치
|
| 5 |
5
제3항에 있어서,상기 신체영역 분류모듈은,상기 박스 영역을 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 각각을 합성곱 신경망을 이용하여 신체 부위를 분류하는 가상 아바타 동기화 장치
|
| 6 |
6
제1항에 있어서,상기 가시적 신체 부위 추정부는,상기 검출된 신체 부위의 관절 위치를 검출하는 관절위치 검출모듈; 및상기 검출된 관철 위치를 기초로 3차원의 신체 부위의 형상과 포즈를 추정하는 가시적 신체부위 추정모듈;을 포함하는 가상 아바타 동기화 장치
|
| 7 |
7
제1항에 있어서,상기 비가시적 신체 부위 생성부는,상기 가시적 신체 부위의 형상 및 포즈를 기초로 비가시적인 신체 부위의 형상과 포즈를 추정하는 비가시적 신체부위 추정모듈; 및상기 추정된 비가시적인 신체 부위의 형상과 포즈를 기초로 비가시적 3차원의 신체 부위 형상과 포즈를 생성하는 신체부위 생성모듈;을 포함하는 가상 아바타 동기화 장치
|
| 8 |
8
제1항에 있어서,상기 신체 추정부는,상기 가시적 신체 부위 형상 및 포즈의 크기 및 방향정보와 상기 비가시적 신체 부위 형상 및 포즈의 크기 및 방향정보를 정규화시키는 정규화 모듈; 및상기 정규화된 가시적 신체 부위 형상과 포즈와 상기 비가시적 신체 부위 형상과 포즈를 융합하여 사람의 전신 형상과 포즈를 추정하는 전신 추정 모듈;을 포함하는 가상 아바타 동기화 장치
|
| 9 |
9
제1항에 있어서,상기 서버는,상기 인코딩된 전신 형상과 포즈 정보를 디코딩하는 디코딩 모듈; 및상기 디코딩된 전신 형상과 포즈 정보를 상기 가상 아바타와 맵핑시키는 맵핑 모듈;을 포함하는 가상 아바타 동기화 장치
|
| 10 |
10
입력된 2차원 영상에서 사람의 신체 부위를 검출하는 단계;상기 검출된 신체 부위를 기초로 가시적 신체 부위 형상과 포즈를 추정하는 단계;상기 신체 부위와 상기 신체 부위의 형상 및 포즈를 기초로 비가시적 신체 부위의 형상과 포즈를 생성하는 단계;상기 가시적 신체 부위 형상과 포즈 및 상기 비가시적 신체 부위 형상과 포즈를 기초로 전신 형상과 포즈를 추정하는 단계; 및서버에 미리 모델링된 아바타와 동기화시키기 위해 상기 추정된 전신 형상과 포즈를 인코딩하여 송신하는 단계;를 포함하는 가상 아바타 동기화 방법
|
| 11 |
11
제10항에 있어서,상기 2차원 영상을 수집하는 단계를 더 포함하는 가상 아바타 동기화 방법
|
| 12 |
12
제10항에 있어서,상기 신체 부위를 검출하는 단계는,상기 2차원 영상 내에 신체가 위치하는 영역을 박스 영역으로 검출하는 단계; 및상기 박스 영역 내에서 신체 부위를 분류하는 단계;를 포함하는 가상 아바타 동기화 방법
|
| 13 |
13
제12항에 있어서,상기 박스 영역으로 검출하는 단계는,심층 신경망을 이용하여 주요 부위의 관절 위치 점들을 예측하고, 상기 관절 위치 점들을 기초로 상기 박스 영역을 검출하는 가상 아바타 동기화 방법
|
| 14 |
14
제12항에 있어서,상기 신체 부위를 분류하는 단계는,상기 박스 영역을 복수의 영역으로 구분하고, 상기 구분된 복수의 영역 각각을 합성곱 신경망을 이용하여 신체 부위를 분류하는 가상 아바타 동기화 방법
|
| 15 |
15
제10항에 있어서,상기 가시적 신체 부위 형상과 포즈를 추정하는 단계는,상기 검출된 사람의 신체 부위의 관절 위치를 검출하는 단계; 및상기 검출된 관철 위치를 기초로 3차원의 신체 부위의 형상과 포즈를 추정하는 단계;를 포함하는 가상 아바타 동기화 방법
|
| 16 |
16
제10항에 있어서,상기 비가시적 신체 부위의 형상과 포즈를 생성하는 단계는,상기 신체 부위의 형상 및 포즈를 기초로 비가시적인 신체 부위의 형상과 포즈를 추정하는 단계; 및상기 추정된 비가시적인 신체 부위의 형상과 포즈를 기초로 비가시적 3차원의 신체 부위 형상과 포즈를 생성하는 단계;를 포함하는 가상 아바타 동기화 방법
|
| 17 |
17
제10항에 있어서,상기 전신 형상과 포즈를 추정하는 단계는,상기 가시적 신체 부위 형상 및 포즈의 크기 및 방향정보와 상기 비가시적 신체 부위 형상 및 포즈의 크기 및 방향정보를 정규화시키는 단계; 및상기 정규화된 가시적 신체 부위 형상과 포즈와 상기 비가시적 신체 부위 형상과 포즈를 융합하여 사람의 전신 형상과 포즈를 추정하는 단계;를 포함하는 가상 아바타 동기화 방법
|
| 18 |
18
제10항에 있어서,상기 서버는,상기 인코딩된 전신 형상과 포즈 정보를 디코딩하고, 상기 디코딩된 전신 형상과 포즈 정보를 상기 가상 아바타와 맵핑시키는 가상 아바타 동기화 방법
|
| 19 |
19
입력된 2차원 영상에서 사람의 신체 부위를 검출하는 신체 부위 검출부;상기 검출된 신체 부위를 기초로 가시적 신체 부위 형상과 포즈를 추정하는 가시적 신체 부위 추정부;상기 신체 부위와 상기 신체 부위의 형상 및 포즈를 기초로 비가시적 신체 부위의 형상과 포즈를 생성하는 비가시적 신체 부위 생성부;상기 가시적 신체 부위 형상과 포즈 및 상기 비가시적 신체 부위 형상과 포즈를 기초로 전신 형상과 포즈를 추정하는 신체 추정부; 미리 모델링된 가상 아바타를 저장하는 서버; 및상기 서버에 미리 모델링된 아바타와 동기화시키기 위해 상기 추정된 전신 형상과 포즈를 인코딩하여 송신하는 아바타 동기화부;를 포함하는 가상 아바타 동기화 시스템
|
| 20 |
20
제19항에 있어서,상기 서버는,상기 인코딩된 전신 형상과 포즈 정보를 디코딩하는 디코딩 모듈; 및상기 디코딩된 전신 형상과 포즈 정보를 상기 가상 아바타와 맵핑시키는 맵핑 모듈;을 포함하는 가상 아바타 동기화 시스템
|
