| 1 |
1
A축(각성(Arousal)-비각성 축)과 V축(쾌(Valence)-불쾌 축)을 기반으로 하는 A-V 2축 정서 모델을 이용한 정서 상태 판별 방법으로서,각 정서별 영상들 및 상기 각 정서별 영상들의 얼굴 영역의 표정에 따른 정서 상태에 대하여 평가자에 의해 상기 A축에 대응되는 A값과 상기 V축에 대응되는 V값으로 평가된 정서 상태의 값을 저장하는 데이터 베이스를 구축하는 단계;상기 데이터 베이스에 저장된 각 정서별 영상들을 전처리하는 단계;전처리된 상기 각 정서별 영상들의 분포를 바탕으로 PCA(Principal Component Analysis, 주성분 분석)를 통해 독립 변수를 계산하는 단계;계산된 상기 독립 변수를 이용하여 선형 회귀식을 학습하는 단계; 및입력 영상을 상기 선형 회귀식에 적용하여 정서 상태의 값을 계산하는 단계를 포함하되,상기 전처리하는 단계는,상기 정서별 영상들의 얼굴영역에 구비되는 눈 영역과 입 영역의 그레이 스케일 영상들을 벡터화하는 단계;상기 눈 영역의 평균벡터와 상기 입 영역의 평균벡터를 구하는 단계; 및상기 눈 영역의 평균 벡터와 눈 영역 각각의 벡터간의 편차인 복수의 눈 영역 차 벡터와, 상기 입 영역의 평균 벡터와 입 영역 각각의 벡터간의 편차인 복수의 입 영역 차 벡터를 산출하는 단계를 포함하고,상기 독립 변수를 계산하는 단계는,상기 복수의 눈 영역 차 벡터를 이용하여 상기 PCA를 통해 상기 눈 영역에 대한 PCA값과, 상기 복수의 입 영역 차 벡터를 이용하여 상기 PCA를 통해 상기 입 영역에 대한 PCA값을 계산하는 단계를 포함하고,상기 선형 회귀식을 학습하는 단계는,상기 눈 영역에 대한 PCA값 및 상기 입 영역에 대한 PCA값을 독립변수로 하고, 상기 A값과 상기 V값을 종속변수로 하는 데이터 셋을 구성하는 단계;구성된 상기 데이터 셋을 선형 회귀분석을 통해 회귀식 계수를 산출하는 단계; 및상기 회귀식 계수를 포함하는 상기 선형 회귀식을 학습하는 단계를 포함하고,상기 입력 영상에 대해 상기 선형 회귀식에 적용하여 정서 상태의 값을 계산하는 단계는,상기 입력 영상을 상기 데이터 베이스의 분포로부터 얻어진 고유 벡터에 투사하여 독립 변수를 계산하는 단계; 및상기 독립 변수를 상기 선형 회귀식에 대입하여 상기 입력 영상의 정서 상태를 추정하는 단계를 포함하는, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 2 |
2
제1항에 있어서, 상기 선형 회귀식은, 각성(Arousal)-비각성 축(A 축)과 쾌(Valence)-불쾌 축(V 축)의 2차원 형태인, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 3 |
3
제1항에 있어서, 상기 데이터 베이스에 저장된 영상들을 전처리하는 단계는, 상기 벡터화된 영상들의 명암을 정규화하는 단계를 더 포함하는, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 4 |
4
제1항에 있어서, 상기 PCA를 통해 독립 변수를 계산하는 단계는,상기 눈 영역의 차 벡터를 통해 공분산 행렬을 구하여 눈 영역에 대한 고유 벡터를 계산하고, 상기 입 영역의 차 벡터를 통해 공분산 행렬을 구하여 입 영역에 대한 고유벡터를 계산하는 단계; 및상기 눈 영역의 차 벡터를 상기 눈 영역에 대한 고유 벡터에 투사하여 차원이 축소된 눈 영역의 PCA 값을 계산하고, 상기 입 영역의 차 벡터를 상기 입 영역에 대한 고유 벡터에 투사하여 차원이 축소된 입 영역의 PCA값을 계산하는 단계를 포함하는, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 5 |
5
제3항에 있어서, 상기 벡터화된 영상들의 명암을 정규화하는 단계는,각 벡터의 평균과 분산, 및 전체 벡터의 평균과 분산을 통해 수행되는, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 6 |
6
제1항에 있어서, 상기 입력 영상을 상기 선형 회귀식에 적용하여 정서 상태의 값을 계산하는 단계는,연속적 정서 모델을 적용하여, 상기 입력 영상의 연속되는 매 프레임의 정서 상태의 값을 계산하는 단계를 더 포함하는, 로봇의 표정 기반 연속적 정서 인식 방법
|
| 7 |
7
제1항 내지 제6항 중 어느 하나의 항에 따른 로봇의 표정 기반 연속적 정서 인식 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체
|
| 8 |
8
A축(각성(Arousal)-비각성 축)과 V축(쾌(Valence)-불쾌 축)을 기반으로 하는 A-V 2축 정서 모델을 이용한 정서 상태 판별 장치로서,각 정서별 영상들 및 상기 각 정서별 영상들의 얼굴 영역의 표정에 따른 정서 상태에 대하여 평가자에 의해 상기 A축에 대응되는 A값과 상기 V축에 대응되는 V값으로 평가된 정서 상태의 값을 저장하는 데이터 베이스와, 상기 데이터 베이스에 저장된 영상들의 분포를 바탕으로 PCA(Principal Component Analysis, 주성분 분석)를 통해 독립 변수를 계산하는 제1 PCA부와, 계산된 상기 독립 변수를 이용하여 선형 회귀식을 학습하는 학습부를 포함하는 오프라인부; 및입력 영상을 상기 선형 회귀식에 적용하여 정서 상태의 값을 계산하는 표정 인식부를 포함하되,상기 오프라인부는,상기 PCA 전에 상기 데이터 베이스에 저장된 각 정서별 영상들을 전처리하는 전처리부; 를 더 포함하고,상기 전처리부는,상기 정서별 영상들의 얼굴 영역에 구비되는 눈 영역과 입 영역의 그레이 스케일 영상들을 벡터화하는 벡터부와, 상기 눈 영역의 평균벡터와 상기 입 영역의 평균벡터를 구하는 평균부와, 상기 눈 영역의 평균 벡터와 상기 눈 영역 각각의 벡터간의 편차인 눈 영역 차 벡터 및 상기 입 영역의 평균 벡터와 상기 입 영역 각각의 벡터간의 편차인 입술 영역 차 벡터를 산출하는 차 벡터부를 포함하고,상기 제1 PCA부는,복수의 상기 눈 영역 차 벡터를 이용하여 상기 PCA를 통해 상기 눈 영역에 대한 PCA값 및 복수의 상기 입 영역 차 벡터를 이용하여 상기 PCA를 통해 상기 입 영역에 대한 PCA값을 계산하고,상기 학습부는,상기 눈 영역에 대한 PCA값 및 상기 입 영역에 대한 PCA값을 독립변수로 하고, 상기 A값과 상기 V값을 종속변수로 하는 데이터 셋을 구성하고, 구성된 상기 데이터 셋을 선형 회귀분석을 통해 회귀식 계수를 산출하여 상기 회귀식 계수를 포함하는 상기 선형 회귀식을 학습하며,상기 표정 인식부는상기 입력 영상을 상기 데이터 베이스의 분포로부터 얻어진 고유 벡터에 투사하여 독립 변수를 계산하는 제2 PCA부; 및상기 독립 변수를 상기 선형 회귀식에 대입하여 상기 입력 영상의 정서 상태를 추정하는 정서 상태 출력부를 포함하는, 로봇의 표정 기반 연속적 정서 인식 장치
|
| 9 |
9
제8항에 있어서, 상기 선형 회귀식은, 각성(Arousal)-비각성 축(A 축)과 쾌(Valence)-불쾌 축(V 축)의 2차원 형태인, 로봇의 표정 기반 연속적 정서 인식 장치
|
| 10 |
10
제8항에 있어서, 상기 표정 인식부는,상기 입력 영상의 얼굴 영역을 검출하는 얼굴 영역 검출부를 더 포함하는, 로봇의 표정 기반 연속적 정서 인식 장치
|
| 11 |
11
제8항에 있어서, 상기 전처리부는 벡터화된 영상들의 명암을 정규화하는 정규화부를 더 포함하는, 로봇의 표정 기반 연속적 정서 인식 장치
|
| 12 |
12
제8항에 있어서, 상기 표정 인식부는,상기 입력 영상의 연속되는 매 프레임의 정서 상태의 값을 계산하는, 로봇의 표정 기반 연속적 정서 인식 장치
|
