| 1 |
1
보호자의 단말기 및 스마트미러장치가 접속할 수 있는 서비스서버에 의하여 구현되는 시니어 케어를 위한 스마트미러 챗봇 시스템으로서,상기 스마트미러장치는,사용자의 모습을 비추는 투과성 재질의 미러; 영상 혹은 정보를 디스플레이하고 상기 미러 후면에 설치되는 디스플레이부; 사운드를 출력하는 스피커부; 사용자의 음성정보를 수집하는 마이크부; 상기 서비스서버 및 상기 보호자의 단말기와 무선적으로 통신을 수행하는 무선통신부; 사용자의 영상정보를 수집하는 카메라부; 및 상기 서비스서버와의 통신을 통해 스마트미러장치의 동작을 제어하는 제어부;를 포함하고,상기 제어부는,상기 스마트미러장치를 동작시키려는 사용자의 음성정보 및 영상정보에 기초하여 상기 사용자를 식별하여 상기 스마트미러장치를 동작시키는 사용자식별부;상기 디스플레이부에 표시되는 캐릭터를 통해 사용자와 대화를 수행하는 챗봇인터페이싱부; 및보호자의 단말기와 통신을 통해 영상통화를 실행하는, 통화모드제공부;를 포함하고,상기 서비스서버는,사용자의 상기 음성정보 및 상기 영상정보에 기초하여 경도인지장애정보를 도출하는 경도인지장애정보도출부; 및 사용자의 상기 영상정보에 기초하여 감정정보를 도출하는 감정정보도출부;를 포함하는 사용자상태진단부; 및상기 경도인지장애정보 및 상기 감정정보에 기초하여 도출된 사용자의 상태정보를 보호자의 단말기로 송신하는 사용자상태알림부;를 포함하고,상기 챗봇인터페이싱부는,상기 영상정보에 기초하여 상기 미러상에서 사용자가 비춰지는 영역을 도출하는 단계; 상기 사용자가 비춰지는 영역에 겹치지 않는 상기 디스플레이부의 캐릭터표시영역을 도출하는 단계; 및 상기 캐릭터표시영역에 상기 캐릭터를 디스플레이하는 단계;를 수행하고,상기 챗봇인터페이싱부는,상기 디스플레이부에 디스플레이 되는 캐릭터를 통해 경도인지장애 진단과 관련된 1 이상의 질문을 수행하는 단계;상기 마이크부를 통해 상기 질문에 대응하는 응답에 대한 사용자의 음성정보를 수신하는 단계;응답에 대한 사용자의 음성정보에 기초하여 해당 응답에 대응되는 피드백음성정보를 상기 서비스서버로부터 수신하는 단계; 및상기 피드백음성정보를 상기 캐릭터를 통해 제공하는 단계;를 더 수행하고,상기 경도인지장애정보도출부는,사용자의 상기 음성정보에 기초하여 도출된 진폭, 길이 및 패턴을 포함하는 음성특징정보에 기초하여 경도인지장애정도를 분석하는 제1인공신경망에 의하여 제1분석결과를 도출하는 단계;사용자의 상기 영상정보로부터 도출된 얼굴특징정보에 기초하여 경도인지장애정도를 분석하는 제2인공신경망에 의하여 제2분석결과를 도출하는 단계; 및상기 제1분석결과 및 상기 제2분석결과에 기초하여 경도인지장애정보를 도출하는 단계;를 수행하고,상기 감정정보도출부는,상기 사용자의 영상정보로부터 도출된 얼굴특징정보에 기초하여 사용자의 감정을 분석하는 제3인공신경망에 의하여 감정정보를 도출하고,상기 챗봇인터페이싱부는,상기 서비스서버로부터 사용자의 상기 경도인지장애정보 및 상기 감정정보를 수신하고, 수신한 상기 경도인지장애정보 및 상기 감정정보에 기초하여 기설정된 기준에 따라 상기 피드백음성정보를 제공하는 캐릭터의 음성 및 음성의 속도를 변환하는, 스마트미러 챗봇 시스템
|
| 2 |
2
청구항 1에 있어서,상기 사용자식별부는, 얼굴식별부; 및 음성식별부;를 포함하고,상기 얼굴식별부는,사용자의 상기 영상정보에 기초하여 사용자의 얼굴이미지를 추출하는 단계;기저장된 사용자의 얼굴이미지 및 상기 영상정보로부터 추출한 얼굴이미지를 비교하여 사용자의 얼굴을 판별하는 단계; 및사용자의 얼굴로 판별된 경우, 상기 스마트미러장치를 동작시키는 단계;를 수행하고,상기 음성식별부는,수신한 상기 사용자의 음성정보 및 기저장된 사용자의 음성정보를 비교하여 사용자의 음성을 판별하는 단계; 및사용자의 음성으로 판별된 경우, 상기 스마트미러장치를 동작시키는 단계;를 수행하는, 스마트미러 챗봇 시스템
|
| 3 |
3
청구항 1에 있어서,상기 챗봇인터페이싱부는,정보 요청에 대한 사용자의 음성정보에 따라 사용자가 요청한 날씨, 일정 및 뉴스 중 1 이상을 포함하는 스마트미러제공정보를 캐릭터의 형상으로 디스플레이 되는 챗봇을 통해 음성으로 제공하고, 상기 디스플레이부의 표시화면에 해당 정보를 디스플레이하는, 스마트미러 챗봇 시스템
|
| 4 |
4
삭제
|
| 5 |
5
청구항 1에 있어서,상기 통화모드제공부는,사용자의 음성정보 및 영상정보를 상기 보호자의 단말기로 송신하고, 보호자의 단말기로부터 수신한 보호자음성정보 및 보호자영상정보를 상기 스마트미러장치로 송신하여 영상통화를 실행하는, 스마트미러 챗봇 시스템
|
| 6 |
6
청구항 1에 있어서,상기 사용자상태진단부는, 특징정보도출부;를 더 포함하고,상기 특징정보도출부는,상기 사용자의 음성정보의 진폭, 길이 및 패턴에 따라 음성특징정보를 도출하고,상기 사용자의 영상정보에 기초하여 얼굴이미지를 추출하고, 추출된 얼굴이미지에 기초하여 얼굴특징정보를 도출하는, 스마트미러 챗봇 시스템
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
청구항 1에 있어서,상기 사용자상태알림부는,사용자의 상기 경도인지장애정보 및 상기 감정정보에 기초하여 기설정된 기준에 따라 사용자의 상태정보를 도출하고, 도출된 사용자의 상태정보가 기설정된 기준에 해당하는 경우, 상기 보호자의 단말기로 사용자의 상태정보를 송신하는, 스마트미러 챗봇 시스템
|
| 10 |
10
보호자의 단말기 및 스마트미러장치가 접속할 수 있는 서비스서버에 의하여 수행되는 시니어 케어를 위한 스마트미러 챗봇 서비스를 제공하는 방법으로서,상기 스마트미러장치는,사용자의 모습을 비추는 투과성 재질의 미러; 영상 혹은 정보를 디스플레이하고 상기 미러 후면에 설치되는 디스플레이부; 사운드를 출력하는 스피커부; 사용자의 음성정보를 수집하는 마이크부; 상기 서비스서버 및 상기 보호자의 단말기와 무선적으로 통신을 수행하는 무선통신부; 사용자의 영상정보를 수집하는 카메라부; 및 상기 서비스서버와의 통신을 통해 스마트미러장치의 동작을 제어하는 제어부;를 포함하고,상기 서비스서버는, 사용자식별부; 챗봇인터페이싱부; 통화모드제공부; 경도인지장애정보도출부; 및 감정정보도출부;를 포함하는 사용자상태진단부; 및 사용자상태알림부;를 포함하고,상기 사용자식별부에 의하여, 상기 스마트미러장치를 동작시키려는 사용자의 음성정보 및 영상정보에 기초하여 상기 사용자를 식별하여 상기 스마트미러장치를 동작시키는 사용자식별단계;상기 챗봇인터페이싱부에 의하여, 상기 디스플레이부에 표시되는 캐릭터를 통해 사용자와 대화를 수행하는 챗봇인터페이싱단계;상기 통화모드제공부에 의하여, 보호자의 단말기와 통신을 통해 음성통화 혹은 영상통화를 제공하는, 통화모드제공단계;상기 경도인지장애정보도출부에 의하여, 상기 사용자의 음성정보에 대한 특징정보 및 상기 영상정보에 대한 특징정보에 기초하여 경도인지장애정보를 도출하는 경도인지장애정보도출단계; 및 상기 감정정보도출부에 의하여, 상기 사용자의 영상정보에 대한 특징정보에 기초하여 감정정보를 도출하는 감정정보도출단계;를 포함하는 사용자상태진단단계; 및상기 사용자상태알림부에 의하여, 상기 경도인지장애정보 및 상기 감정정보에 기초하여 도출된 사용자의 상태정보를 보호자의 단말기로 송신하는, 사용자상태알림단계;를 포함하고,상기 챗봇인터페이싱단계는,상기 영상정보에 기초하여 상기 미러상에서 사용자가 비춰지는 영역을 도출하는 단계; 상기 사용자가 비춰지는 영역에 겹치지 않는 상기 디스플레이부의 캐릭터표시영역을 도출하는 단계; 및 상기 캐릭터표시영역에 상기 캐릭터를 디스플레이하는 단계;를 포함하고,상기 챗봇인터페이싱단계는,상기 디스플레이부에 디스플레이 되는 캐릭터를 통해 경도인지장애 진단과 관련된 1 이상의 질문을 수행하는 단계;상기 마이크부를 통해 상기 질문에 대응하는 응답에 대한 사용자의 음성정보를 수신하는 단계;응답에 대한 사용자의 음성정보에 기초하여 해당 응답에 대응되는 피드백음성정보를 상기 서비스서버로부터 수신하는 단계; 및상기 피드백음성정보를 상기 캐릭터를 통해 제공하는 단계;를 더 포함하고,상기 경도인지장애정보도출단계는,사용자의 상기 음성정보에 기초하여 도출된 진폭, 길이 및 패턴을 포함하는 음성특징정보에 기초하여 경도인지장애정도를 분석하는 제1인공신경망에 의하여 제1분석결과를 도출하는 단계;사용자의 상기 영상정보로부터 도출된 얼굴특징정보에 기초하여 경도인지장애정도를 분석하는 제2인공신경망에 의하여 제2분석결과를 도출하는 단계; 및상기 제1분석결과 및 상기 제2분석결과에 기초하여 경도인지장애정보를 도출하는 단계;를 포함하고,상기 감정정보도출단계는,상기 사용자의 영상정보로부터 도출된 얼굴특징정보에 기초하여 사용자의 감정을 분석하는 제3인공신경망에 의하여 감정정보를 도출하고,상기 챗봇인터페이싱단계는,상기 서비스서버로부터 사용자의 상기 경도인지장애정보 및 상기 감정정보를 수신하고, 수신한 상기 경도인지장애정보 및 상기 감정정보에 기초하여 기설정된 기준에 따라 상기 피드백음성정보를 제공하는 캐릭터의 음성 및 음성의 속도를 변환하는, 스마트미러 챗봇 서비스를 제공하는 방법
|
