| 1 |
1
적어도 하나의 프로그램이 기록된 메모리; 및프로그램을 실행하는 프로세서를 포함하며,프로그램은,적어도 둘 이상의 상이한 시점들 각각에서 촬영된 사용자 영상들 각각으로부터 얼굴 영역 영상들을 추출하는 얼굴 검출부;얼굴 영역 영상들의 3차원 공간에서의 적어도 하나의 속성 정보를 2차원 UV 공간으로 매핑한 적어도 하나의 속성별 2차원 영상을 생성하는 축소 변환부; 및적어도 하나의 속성별 2차원 영상을 분석하여 사용자 모니터링 정보를 생성하는 분석부를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 2 |
2
제1 항에 있어서, 프로그램은,얼굴 영역 영상들을 추출하는 단계 및 사용자 모니터링 정보를 생성하는 단계 사이에, 추출된 얼굴 영역 영상들에서 모니터링 대상자를 선별하는 타겟 사용자 선별부를 더 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 3 |
3
제1 항에 있어서, 프로그램은,적어도 둘 이상의 상이한 시점들 각각에서 촬영된 사용자 영상들에 포함된 사용자들 간의 동일 여부를 콘볼루션 신경망 기반으로 판별하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 4 |
4
제1 항에 있어서, 축소 변환부는, 콘볼루션 신경망 알고리즘에 의해 생성되되,얼굴 영역 영상에서 추출된 특징을 파라미터화하는 인코더; 및특징 파라미터를 기반으로 적어도 하나의 속성별 2차원 영상을 생성하는 디코더를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 5 |
5
제4 항에 있어서, 속성별 2차원 영상은, 얼굴 영역 영상의 3차원 공간 상의 형상 정보를 색상 코드 포맷으로 저장한 형상 2차원 영상(uv_shape) 및 얼굴 영역 영상의 색상 정보를 저장한 색상 2차원 영상(uv_tex)을 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 6 |
6
제5 항에 있어서, 축소 변환부는, 특징 파라미터를 개별 특징별로 추가 변환 또는 가공하여 형태 특징 파라미터, 표정 특징 파라미터, 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 포함하는 특징 파라미터들 중 적어도 하나를 추출하는 레이턴트 레이어를 더 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 7 |
7
제6 항에 있어서, 분석부는, 속성별 2차원 영상의 사용자 별로 미리 등록된 속성별 2차원 영상과의 유사도를 기반으로 사용자를 식별하는 신원 인식부;속성별 2차원 영상을 표준 얼굴형의 속성별 2차원 영상과의 비교를 기반으로 얼굴 특징을 검출하는 얼굴 특징 검출부;헤드포즈 특징 파라미터를 기반으로 헤드 제스처를 검출하는 헤드 제스처 검출부;헤드포즈 특징 파라미터 및 uv_tex의 눈영역의 색상값을 기반으로 3D 시선 방향을 검출하는 3D 시선 검출부; 및 속성별 2차원 영상의 시간에 따른 변화량을 기반으로 사용자의 감성 상태를 인식하는 감성 상태 인식부 중 적어도 하나를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 장치
|
| 8 |
8
적어도 하나의 프로그램이 기록된 메모리; 및프로그램을 실행하는 프로세서를 포함하며,프로그램은,얼굴 영역 영상들을 입력받은 콘볼루션 신경망이 3차원 공간에서의 적어도 하나의 속성 정보를 2차원 UV 공간으로 매핑한 적어도 하나의 속성별 2차원 영상을 출력하도록 지도 학습하는 단계; 및지도 학습된 콘볼루션 신경망에 다시점 얼굴 색상 영상들을 입력으로 하여 출력된 속성별 2차원 영상을 렌더링한 다시점 합성 색상 영상들이 다시점 얼굴 색상 영상들과의 오차가 최소가 되도록 비지도 학습하는 단계를 수행하는, 콘볼루션 신경망 학습 장치
|
| 9 |
9
제8 항에 있어서, 지도 학습하는 단계는, 콘볼루션 신경망이 얼굴 영역 영상에서 추출된 특징 파라미터를 개별 특징별로 추가 변환 또는 가공하여 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 포함하는 특징 파라미터들 중 적어도 하나를 출력하도록 학습시키되, 비지도 학습하는 단계는, 렌더링함에 있어, 다시점 얼굴 색상 영상과 함께 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 입력으로 하여 렌더링하는, 콘볼루션 신경망 학습 장치
|
| 10 |
10
제 8항에 있어서, 비지도학습 단계는, GAN(Generative Adversarial Network) 알고리즘으로 수행되는, 콘볼루션 신경망 학습 장치
|
| 11 |
11
적어도 둘 이상의 상이한 시점들 각각에서 촬영된 사용자 영상들 각각으로부터 얼굴 영역 영상들을 추출하는 단계;얼굴 영역 영상들의 3차원 공간에서의 적어도 하나의 속성 정보를 2차원 UV 공간으로 매핑한 적어도 하나의 속성별 2차원 영상으로 축소 변환하는 단계; 및적어도 하나의 속성별 2차원 영상을 분석하여 사용자 모니터링 정보를 생성하는 단계를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 12 |
12
제11 항에 있어서, 얼굴 영역 영상들을 추출하는 단계 및 사용자 모니터링 정보를 생성하는 단계 사이에, 추출된 얼굴 영역 영상들에서 모니터링 대상자를 선별하는 단계를 더 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 13 |
13
제11 항에 있어서, 적어도 둘 이상의 상이한 시점들 각각에서 촬영된 사용자 영상들에 포함된 사용자들 간의 동일 여부를 콘볼루션 신경망 기반으로 판별하는 단계를 더 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 14 |
14
제11 항에 있어서, 속성별 2차원 영상으로 축소 변환하는 단계는, 콘볼루션 신경망 알고리즘에 의해 생성되되,얼굴 영역 영상에서 추출된 특징을 파라미터화하는 단계; 및특징 파라미터를 기반으로 적어도 하나의 속성별 2차원 영상을 생성하는 단계를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 15 |
15
제14 항에 있어서, 속성별 2차원 영상은, 얼굴 영역 영상의 3차원 공간 상의 형상 정보를 색상 코드 포맷으로 저장한 형상 2차원 영상(uv_shape) 및 얼굴 영역 영상의 색상 정보를 저장한 색상 2차원 영상(uv_tex)을 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 16 |
16
제15 항에 있어서, 속성별 2차원 영상으로 축소 변환하는 단계는, 특징 파라미터를 개별 특징별로 추가 변환 또는 가공하여 형태 특징 파라미터, 표정 특징 파라미터, 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 포함하는 특징 파라미터들 중 적어도 하나를 추출하는 단계를 더 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 17 |
17
제16 항에 있어서, 사용자 모니터링 정보를 생성하는 단계는, 속성별 2차원 영상의 사용자 별로 미리 등록된 속성별 2차원 영상과의 유사도를 기반으로 사용자를 식별하는 단계;속성별 2차원 영상을 표준 얼굴형의 속성별 2차원 영상과의 비교를 기반으로 얼굴 특징을 검출하는 단계;헤드포즈 특징 파라미터를 기반으로 헤드 제스처를 검출하는 단계;헤드포즈 특징 파라미터 및 uv_tex의 눈영역의 색상값을 기반으로 3D 시선 방향을 검출하는 단계; 및 속성별 2차원 영상의 시간에 따른 변화량을 기반으로 사용자의 감성 상태를 인식하는 단계 중 적어도 하나를 포함하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 18 |
18
제14항에 있어서, 콘볼루션 신경망은, 얼굴 영역 영상들을 입력받은 콘볼루션 신경망이 3차원 공간에서의 적어도 하나의 속성 정보를 2차원 UV 공간으로 매핑한 적어도 하나의 속성별 2차원 영상을 출력하도록 지도 학습하는 단계; 및지도 학습된 콘볼루션 신경망에 다시점 얼굴 색상 영상들을 입력으로 하여 출력된 속성별 2차원 영상을 렌더링한 다시점 합성 색상 영상들이 다시점 얼굴 색상 영상들과의 오차가 최소가 되도록 비지도 학습하는 단계에 의해 생성되는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 19 |
19
제18 항에 있어서, 지도 학습하는 단계는, 콘볼루션 신경망이 얼굴 영역 영상에서 추출된 특징 파라미터를 개별 특징별로 추가 변환 또는 가공하여 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 포함하는 특징 파라미터들 중 적어도 하나를 출력하도록 학습시키되, 비지도 학습하는 단계는, 렌더링함에 있어, 다시점 얼굴 색상 영상과 함께 조명 특징 파라미터 및 헤드포즈 특징 파라미터를 입력으로 하여 렌더링하는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
| 20 |
20
제18 항에 있어서, 비지도학습 단계는, GAN(Generative Adversarial Network) 알고리즘으로 수행되는, 다시점 얼굴 영상 기반 사용자 모니터링 방법
|
