| 1 |
1
서버에 의해 수행되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법에 있어서,획득한 인식영상정보에 포함된 인식객체를 감지하는 단계;감지된 상기 인식객체에 대응하여 공간영역 및 시간영역으로 바운딩박스를 할당하는 단계;할당된 공간영역인식이미지 및 시간영역인식이미지가 포함된 영역인식이미지를 전처리하는 단계;전처리된 상기 영역인식이미지로부터 상기 인식객체의 얼굴표정을 인식하여 얼굴특징에 대한 공간특징인식이미지 및 시간특징인식이미지가 포함된 특징인식이미지를 추출하는 단계; 및표준이미지데이터를 기초하여 상기 특징인식이미지를 이용하여 얼굴표정을 판별하여 인식이미지데이터를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 2 |
2
제1항에 있어서,상기 인식객체를 감지하는 단계는,HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 3 |
3
제2항에 있어서,상기 바운딩박스를 할당하는 단계는,상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 상기 바운딩박스를 할당하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 4 |
4
제1항에 있어서,상기 특징인식이미지를 추출하는 단계는,S-CNN(Spatial-based Convolutional Neural Network)를 기반으로 상기 공간영역인식이미지로부터 상기 공간특징인식이미지를 추출하는 단계; 및T-CNN(Temporal-based Convolutional Neural Network)를 기반으로 상기 시간영역인식이미지로부터 상기 시간특징인식이미지를 추출하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 5 |
5
제4항에 있어서,상기 인식이미지데이터를 생성하는 단계는,상기 공간특징인식이미지와, 상기 표준이미지데이터에 포함된 공간특징표준이미지를 매칭하여 제1 매칭데이터를 생성하는 단계;상기 시간특징인식이미지와 상기 표준이미지데이터에 포함된 시간특징표준이미지를 매칭하여 제2 매칭데이터를 생성하는 단계; 및상기 표준이미지데이터에 포함된 표준분류이미지를 기초로 상기 제1 매칭데이터 및 상기 제2 매칭데이터를 조합하여 인식분류이미지를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 6 |
6
제5항에 있어서,상기 서버가 상기 표준이미지데이터를 생성하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 7 |
7
제6항에 있어서,상기 표준이미지데이터를 생성하는 단계는,빅데이터를 이용하여 기준영상정보에 대응하는 상기 표준분류이미지를 반복학습하는 단계;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 8 |
8
제1항에 있어서,상기 특징인식이미지를 추출하는 단계는,상기 인식객체의 눈썹, 눈꺼풀, 눈꼬리, 광대뼈의 주름, 눈 주위 근육변화, 입꼬리, 입모양, 얼굴구조 또는 이들의 조합을 기준으로 특징을 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 9 |
9
제1항에 있어서,상기 인식분류이미지에 기초하여 상기 표준이미지데이터를 실시간 업데이트하는 단계;를 더 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 방법
|
| 10 |
10
적어도 하나 이상의 영상을 획득하고, 획득한 영상정보에 포함된 객체를 감지하고, 감지된 상기 객체의 표정을 인식 및 특징을 추출하여 생성된 특징이미지를 이용하여 사용자의 얼굴표정을 판별하여 분류이미지를 생성하는 서버;를 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 11 |
11
제10항에 있어서,상기 서버는,표준이미지데이터를 기초로하여 상기 특징이미지를 공간특징이미지 및 시간특징이미지로 분류하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 12 |
12
제11항에 있어서,상기 영상정보에는 이미지 및 동영상 중 적어도 하나가 포함되는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 13 |
13
제12항에 있어서,상기 영상정보에 포함된 정보가 이미지인 경우, 상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 14 |
14
제13항에 있어서,상기 영상정보에 포함된 정보가 동영상인 경우, 상기 서버는 상기 동영상으로부터 정상이미지를 판단하여 최소 6장의 이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 15 |
15
제15항에 있어서,상기 서버는 상기 이미지로부터 적어도 하나 이상의 공간특징이미지 및 적어도 하나 이상의 시간특징이미지를 추출하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 16 |
16
제11항에 있어서,상기 분류이미지에 기초하여 표준이미지데이터를 실시간 업데이트하는 관리자 단말기;를 더 포함하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 17 |
17
제16항에 있어서,상기 관리자 단말기는, 빅데이터를 이용하여 상기 영상정보에 대응하는 상기 분류이미지를 반복학습하여 상기 표준이미지데이터를 생성하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 18 |
18
제10항에 있어서,HOG(Histogram of Oriented Gradients) 알고리즘 및 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용하여 상기 인식영상정보로부터 상기 인식객체를 감지하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 19 |
19
제18항에 있어서,상기 HOG 알고리즘을 통해 감지된 HOG 감지 이미지의 벡터 및 상기 SIFT 알고리즘을 통해 감지된 SIFT 감지 이미지의 벡터를 결합하여 바운딩박스를 할당하는, 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템
|
| 20 |
20
하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램
|
