| 1 |
1
무표정 영상 및 표정 영상을 수집하여 학습 셋을 생성하고, 상기 학습 셋을 근거로 가중치 보간 맵을 생성하는 가중치 보간 맵 생성부; 및상기 학습 셋으로부터 타깃 표정 학습 영상을 검출하고, 상기 가중치 보간 맵 생성부에서 생성한 가중치 보간 맵 및 상기 타깃 표정 학습 영상을 근거로 입력되는 무표정 얼굴 영상에 표정을 합성하여 표정 합성 영상을 생성하는 표정 합성부를 포함하고,상기 가중치 보간 맵 생성부는, 무표정 영상, 무표정 영상과 일치하는 얼굴의 표정 영상을 수집하고, 수집한 무표정 영상을 무표정 학습 영상으로 하는 무표정 학습 셋 및 수집한 표정 영상을 표정 학습 영상으로 하는 표정 학습 셋을 포함하는 학습 셋을 생성하며, 표정 학습 셋의 표정 학습 셋의 i번째 표정 학습 영상(xi), 무표정 학습 셋의 i번째 무표정 학습 영상(yi) 및 최소가 되는 영상의 인덱스(j)를 이용하여 가중치 보간 맵(λ) 및 정규화 가중치 보간 맵(λnorm)을 생성하고,상기 가중치 보간 맵 생성부는 d차원의 열 벡터로 구성된 영상의 각 픽셀마다 가중치를 적용하기 위해 수학식을 이용하여 정규화 가중치 보간 맵(λnorm)에 대한 diag(λnorm)를 수행함으로써 d×d 크기의 대각선 행렬(diagonal matrix)을 획득하며,상기 가중치 보간 맵 생성부는, 수학식(여기서, λ는 가중치 보간 맵이고, xi는 표정 학습 셋의 i번째 표정 학습 영상, yi는 무표정 학습 셋의 i번째 무표정 학습 영상)을 이용하여 가중치 보간 맵을 생성하고,상기 가중치 보간 맵 생성부는, 수학식 (여기서, λnorm은 정규화 가중치 보간 맵이고, λ는 가중치 보간 맵)을 이용하여 상기 정규화 가중치 보간 맵을 생성하며,상기 표정 합성부는, 무표정 얼굴 영상에서 성별의 특성을 반영할 수 없어 클래스 내 분산(within-class scatter)이 증가되는 문제를 해소하기 위해, 상기 가중치 보간 맵 생성부에서 생성한 학습 셋 중에서 무표정 학습 셋에 포함된 무표정 학습 영상들의 주성분 분석 방법(PCA)의 특징 벡터를 산출하고, 상기 무표정 학습 영상들 중에서 유클리디안 거리가 최소인 무표정 학습 영상의 인덱스를 검출하고, 상기 검출한 인덱스에 포함된 무표정 학습 영상에 대응되는 표정 영상을 타깃 표정 학습 영상으로 추출하며,상기 표정 합성부는, 상기 가중치 보간 맵 생성부에서 생성한 학습 셋 중에서 무표정 학습 셋에 포함된 무표정 학습 영상들의 주성분 분석 방법(PCA)의 특징 벡터(WPCA)를 수학식(여기서 ST는 전체 공분산)으로 산출하고,상기 표정 합성부는, 수학식 (여기서, di는 i번째 무표정 학습 영상의 유클리디안 거리, WPCA는 무표정 학습 영상의 PCA 특징 벡터, xi는 i번째 무표정 학습 영상, Iq는 표정 합성을 위해 입력된 무표정 얼굴 영상)을 이용하여 무표정 학습 영상의 유클리디안 거리를 산출하며,상기 표정 합성부는, 수학식(여기서, z는 표정 합성 영상, λ은 정규화 가중치 보간 맵, Iq는 표정 합성을 위해 입력된 무표정 얼굴 영상, ytarget은 타깃 표정 학습 영상)을 이용하여 표정 합성 영상을 생성하는 것을 특징으로 하는 가중치 보간 맵을 이용한 표정 합성 장치
|
| 9 |
9
가중치 보간 맵을 이용한 표정 합성 장치를 통해 가중치 보간 맵을 이용한 표정 합성 방법에 있어서, 무표정 얼굴 영상 및 표정 얼굴 영상을 포함하는 얼굴 영상을 수집하는 단계; 상기 수집한 얼굴 영상을 근거로 가중치 보간 맵을 생성하는 단계; 상기 얼굴 영상에 포함된 무표정 얼굴 영상을 근거로 타깃 표정 학습 영상을 검출하는 단계; 및 상기 가중치 보간 맵 및 상기 타깃 표정 학습 영상을 근거로 입력되는 무표정 얼굴 영상에 표정을 합성하여 표정 합성 영상을 생성하는 단계를 포함하고,상기 가중치 보간 맵을 생성하는 단계는, 상기 수집한 얼굴 영상 중에서 무표정 얼굴 영상을 무표정 학습 영상으로 하는 무표정 학습 셋을 생성하는 단계; 및 상기 수집한 얼굴 영상 중에서 표정 얼굴 영상을 표정 학습 영상으로 하는 표정 학습 셋을 생성하는 단계를 포함하며,상기 가중치 보간 맵을 생성하는 단계는 표정 학습 셋의 표정 학습 셋의 i번째 표정 학습 영상(xi), 무표정 학습 셋의 i번째 무표정 학습 영상(yi) 및 최소가 되는 영상의 인덱스(j)를 이용하여 가중치 보간 맵(λ) 및 정규화 가중치 보간 맵(λnorm)을 생성하고,상기 정규화 가중치 보간 맵(λnorm)은 d차원의 열 벡터로 구성된 영상의 각 픽셀마다 가중치를 적용하기 위해 수학식을 이용하여 정규화 가중치 보간 맵(λnorm)에 대한 diag(λnorm)를 수행함으로써 d×d 크기의 대각선 행렬(diagonal matrix)로 변환되며,상기 가중치 보간 맵을 생성하는 단계에서는, 수학식(여기서, λ는 가중치 보간 맵이고, xi는 표정 학습 셋의 i번째 표정 학습 영상, yi는 무표정 학습 셋의 i번째 무표정 학습 영상)을 이용하여 가중치 보간 맵을 생성하고,상기 가중치 보간 맵을 생성하는 단계에서는, 수학식 (여기서, λnorm은 정규화 가중치 보간 맵이고, λ는 가중치 보간 맵)을 이용하여 상기 정규화 가중치 보간 맵을 생성하며,상기 타깃 표정 학습 영상을 검출하는 단계는, 무표정 얼굴 영상에서 성별의 특성을 반영할 수 없어 클래스 내 분산(within-class scatter)이 증가되는 문제를 해소하기 위해, 상기 생성한 학습 셋 중에서 무표정 학습 셋에 포함된 무표정 학습 영상들의 주성분 분석 방법(PCA)의 특징 벡터를 산출하는 단계; 상기 무표정 학습 영상들의 유클리디안 거리를 산출하는 단계; 상기 산출한 유클리디안 거리가 최소인 무표정 학습 영상의 인덱스를 검출하는 단계; 및 상기 검출한 인덱스에 포함된 무표정 학습 영상에 대응되는 표정 영상을 타깃 표정 학습 영상으로 추출하는 단계를 포함하고,상기 얼굴 영상에 포함된 무표정 얼굴 영상을 근거로 타깃 표정 학습 영상을 검출하는 단계는, 상기 가중치 보간 맵을 생성하는 단계에서 생성된 학습 셋 중에서 무표정 학습 셋에 포함된 무표정 학습 영상들의 주성분 분석 방법(PCA)의 특징 벡터(WPCA)를 수학식(여기서 ST는 전체 공분산)으로 산출하며,상기 유클리디안 거리를 산출하는 단계에서는, 수학식 (여기서, di는 i번째 무표정 학습 영상의 유클리디안 거리, WPCA는 무표정 학습 영상의 PCA 특징 벡터, xi는 i번째 무표정 학습 영상, Iq는 표정 합성을 위해 입력된 무표정 얼굴 영상)을 이용하여 무표정 학습 영상의 유클리디안 거리를 산출하고,상기 표정 합성 영상을 생성하는 단계에서는, 수학식(여기서, z는 표정 합성 영상, λ은 정규화 가중치 보간 맵, Iq는 표정 합성을 위해 입력된 무표정 얼굴 영상, ytarget은 타깃 표정 학습 영상)을 이용하여 표정 합성 영상을 생성하는 것을 특징으로 하는 가중치 보간 맵을 이용한 표정 합성 방법
|
