| 1 |
1
비디오 데이터를 저장하는 데이터 저장부; 상기 비디오 데이터에서 공간 정보를 생성하는 공간 정보 생성부; 상기 비디오 데이터에서 3개의 연속된 프레임을 추출하고, 상기 연속된 프레임을 기준으로 얼굴 역학을 분석하기 위한 VLDN(volume local directional number) 특징 맵을 생성하고, CNN(Deep Convolutional Neural Network) 모델에 입력하여 얼굴 움직임에 대한 동적 정보를 생성하는 VLDN 특징 맵 생성부; 상기 공간 정보와 동적 정보를 TMP(Temporal Median Pooling) 방법을 통하여 출력값으로 생성하는 정보 처리부; 상기 출력값을 재귀신경망을 기반으로 인간의 우울증 수준을 예측하는 수준 예측부; 를 포함하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 장치
|
| 2 |
2
제 1항에 있어서,상기 VLDN 특징 맵 생성부는 상기 연속된 3개의 프레임의 kirsch 마스크에 기초하여 중심 픽셀의 인접한 인접 픽셀의 에지 응답을 계산하는 에지 응답 계산부; 상기 인접 픽셀 중 최상위 양수 방향 번호와 최상위 음수 방향 번호를 확인하는 방향번호 확인부; 상기 최상위 양수 방향 번호와 상기 최상위 음수 방향 번호를 이용하여 VLDN 값을 생성하고, 비디오 프레임 대해서 순차적으로 연속된 3개의 프레임에 대해서 VLDN 값을 모두 생성하여 상기 VLDN 특징 맵을 생성하는 VLDN 생성부; 를 포함하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 장치
|
| 3 |
3
제 1항에 있어서상기 공간 정보 생성부는 상기 비디오 데이터에서 이미지를 임의로 4개의 영역으로 분할하고, 이미지 전체에서 공간 특징을 추출하고, 상기 4개의 영역에서 각각 공간 특징을 추출하여 공간 정보를 생성하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 장치
|
| 4 |
4
제 1항에 있어서, 상기 수준 예측부는상기 재귀신경망이 2개의 층으로 구성된 BI- LSTM으로 하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 장치
|
| 5 |
5
제 1항에 있어서, 상기 정보 처리부는상기 공간 정보와 상기 동적 정보에 대해서, 임의의 개수의 조각으로 분할한 후, 각 조각에 대한 중앙값을 반환하여 출력값으로 생성하는 것을 특징으로 하는미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 장치
|
| 6 |
6
미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법에 있어서, 얼굴 이미지와 비디오 데이터를 저장하는 단계; 상기 얼굴 이미지에서 공간 정보를 생성하는 단계; 상기 얼굴 비디오 데이터에서 3개의 연속된 프레임을 추출하고, 상기 연속된 프레임을 기준으로 얼굴 역학을 분석하기 위한 VLDN(volume local directional number) 특징 맵을 생성하는 단계; 상기 VLDN 특징 맵을 CNN(Deep Convolutional Neural Network) 모델에 입력하여 얼굴 움직임에 대한 동적 정보를 생성하는 단계; 상기 공간 정보와 동적 정보를 TMP(Temporal Median Pooling) 방법을 통하여 출력값으로 생성하는 단계; 상기 출력값을 재귀신경망을 기반으로 인간의 우울증 수준을 예측하는 단계; 를 포함하는미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법
|
| 7 |
7
제 6항에 있어서, 상기 VLDN 특징 맵 생성하는 단계는상기 연속된 3개의 프레임의 kirsch 마스크에 기초하여 중심 픽셀의 인접한 인접 픽셀의 에지 응답을 계산하는 단계; 상기 인접 픽셀 중 최상위 양수 방향 번호와 최상위 음수 방향 번호를 확인하는 단계; 상기 최상위 양수 방향 번호와 상기 최상위 음수 방향 번호를 이용하여 VLDN 값을 생성하고, 비디오 프레임 대해서 순차적으로 연속된 3개의 프레임에 대해서 VLDN 값을 모두 생성하여 상기 VLDN 특징 맵을 생성하는 단계; 를 더 포함하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법
|
| 8 |
8
제 6항에 있어서, 상기 공간 정보를 생성하는 단계는 상기 비디오 데이터에서 이미지를 임의로 4개의 영역으로 분할하고, 이미지 전체에서 공간 특징을 추출하고, 상기 4개의 영역에서 각각 공간 특징을 추출하여 공간 정보를 생성하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법
|
| 9 |
9
제 6항에 있어서, 상기 수준을 예측하는 단계는 상기 재귀신경망이 2개의 층으로 구성된 BI- LSTM으로 하는 것을 특징으로 하는 미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법
|
| 10 |
10
제 6항에 있어서, 상기 출력값으로 생성하는 단계는 상기 공간 정보와 상기 동적 정보에 대해서, 임의의 개수의 조각으로 분할한 후, 각 조각에 대한 중앙값을 반환하여 출력값으로 생성하는 것을 특징으로 하는미세 얼굴 표정을 분석하여 인간의 우울증 수준을 예측하는 방법
|
