| 1 |
1
채팅창을 이용한 애완동물 인터랙션 장치로서,사용자로부터 입력되는 텍스트 데이터를 사용자의 음성데이터로 변환하는 데이터 변환부;상기 음성데이터를 출력하는 스피커;상기 애완동물의 음성정보가 입력되는 마이크;적어도 하나 이상의 영상촬영 카메라;상기 영상촬영 카메라로부터 수신한 영상정보로부터 애완동물을 판정하는 객체인식부;영상촬영 카메라로부터 수신한 영상정보와 애완동물의 음성정보를 수신하여 상기 애완동물의 감정상태를 예측하는 감정판단부;상기 애완동물의 감정상태와 매칭된 텍스트 데이터를 추출하는 데이터 추출부;상기 객체인식부를 통해서 판정된 애완동물의 체온을 측정하는 열화상카메라;상기 애완동물의 움직임을 감지하는 동작감지센서; 및상기 적어도 하나 이상의 영상촬영 카메라로부터 수신되는 영상정보와 상기 객체인식부에서 판정된 애완동물을 특정하여 상기 애완동물의 위치를 인식하는 위치인식부를 포함하고, 상기 감정판단부는 제1영상정보로부터 애완동물의 얼굴을 인식하고, 상기 얼굴로부터 얼굴요소를 추출하여 복수의 감정에 대한 상기 얼굴요소 변화패턴과 제1음성정보를 추출하는 추출모듈;상기 복수의 감정에 따른 상기 얼굴요소 변화패턴 및 제1음성정보를 저장하는 스토리지; 및제2영상정보로부터 애완동물의 얼굴요소 변화패턴을 추출하고, 추출된 얼굴요소 변화패턴과 제2음성정보로부터 상기 스토리지에 저장된 얼굴요소 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 인식모듈을 포함하며,상기 추출모듈은제3영상정보로부터 애완동물의 행동을 인식하고, 행동 변화패턴과 제1음성정보를 추출하고,상기 스토리지는상기 복수의 감정에 따른 상기 행동 변화패턴 및 제1음성정보를 저장하고,상기 인식모듈은 제4영상정보로부터 애완동물의 행동 변화패턴을 추출하고, 추출된 행동 변화패턴과 제3음성정보로부터 상기 스토리지에 저장된 행동 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하고,상기 위치 인식부를 통해서 판정된 애완동물의 실시간 위치에 기반한 상기 애완동물의 위치에 따른 감정을 고려하여 애완동물의 감정을 판단하는 것을 특징으로 하는 애완동물 인터랙션 장치
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
제1항에 있어서,상기 동작감지센서에 의해서 애완동물의 움직임이 감지되거나 사용자로부터 상기 텍스트 데이터가 입력되는 경우, 장치를 활성화 시키는 전원부를 더 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치
|
| 5 |
5
제1항에 있어서,상기 객체인식부는 딥러닝 R-CNN 알고리즘을 수행함으로서 애완동물을 인식하는 것을 특징으로 하는 애완동물 인터랙션 장치
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
제1항에 있어서,상기 복수의 감정은 기쁨, 놀람, 슬픔, 분노 및 공포 중 적어도 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치
|
| 9 |
9
제1항에 있어서,상기 얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치
|
| 10 |
10
삭제
|
| 11 |
11
제1항의 애완동물 인터랙션 장치; 및설치되어 있는 앱을 실행하여 상기 애완동물 인터랙션 장치와 연결되고, 입력창을 통해서 텍스트를 송신하는 사용자 단말기를 포함하는 것을 특징으로 하는 애완동물 인터랙션 시스템
|
| 12 |
12
애완동물 인터랙션 장치에 의해서 수행되는 인터랙션 방법으로서,(a) 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하고 사용자의 음성데이터로 변환하는 단계;(b) 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계;(c-1) 상기 애완동물의 얼굴요소를 추출하는 단계;(c-2) 상기 애완동물 행동 변화패턴을 추출하는 단계;(d) 상기 애완동물의 얼굴요소 변화패턴, 행동 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계; 및(e) 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함하고,상기 (d)단계는 제1영상정보로부터 애완동물의 얼굴을 인식하고, 상기 얼굴로부터 얼굴요소를 추출하여 복수의 감정에 대한 상기 얼굴요소 변화패턴과 제1음성정보를 추출하는 단계;상기 복수의 감정에 따른 상기 얼굴요소 변화패턴 및 제1음성정보를 저장하는 단계;제2영상정보로부터 애완동물의 얼굴요소 변화패턴을 추출하고, 추출된 얼굴요소 변화패턴과 제2음성정보로부터 상기 스토리지에 저장된 얼굴요소 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 단계를 포함하며,상기 (d)단계는 제3영상정보로부터 애완동물의 행동을 인식하고, 행동 변화패턴과 제1음성정보를 추출하는 단계;상기 복수의 감정에 따른 상기 행동 변화패턴 및 제1음성정보를 저장하는 단계; 및제4영상정보로부터 애완동물의 행동 변화패턴을 추출하고, 추출된 행동 변화패턴과 제3음성정보로부터 상기 스토리지에 저장된 행동 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 단계를 포함하고,상기 (d)단계는 애완동물의 실시간 위치에 기반한 상기 애완동물의 위치에 따른 감정을 고려하여 애완동물의 감정을 판단하는 것을 특징으로 하는 애완동물 인터랙션 방법
|
| 13 |
13
제12항에 있어서,상기 얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 방법
|
| 14 |
14
삭제
|
| 15 |
15
삭제
|
| 16 |
16
삭제
|
