| 1 |
1
사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 및 스마트보청기; 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템으로서,상기 스마트보청기는,상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고,상기 스마트글래스는,상기 스마트글래스의 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 및 영상 혹은 정보를 디스플레이하는 글래스디스플레이부;를 포함하고,상기 사용자단말기는 상기 스마트보청기로부터 수신한 상기 소리정보 및 상기 스마트글래스로부터 수신한 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 상기 서비스서버로 송신하고,상기 서비스서버는,상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측부;상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성부;상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성부;시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성부;상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공부; 및사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공부;를 포함하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 2 |
2
청구항 1에 있어서,상기 주변환경예측부는,상기 소리정보에 기초하여 노이즈를 제거하여 전처리소리정보를 도출하는 단계;상기 전처리소리정보에 기초하여 소리의 세기 및 소리의 인터벌 중 1 이상을 포함하는 사운드특징정보를 도출하는 단계; 및상기 사운드특징정보에 기초하여 학습된 인공신경망에 의하여 사용자의 주변환경에 존재하는 장애물에 대한 정보를 포함하는 상기 예측정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 3 |
3
청구항 1에 있어서,상기 장애물정보생성부는,상기 영상정보에 기초하여 학습된 인공신경망에 의하여 영상에 포함된 1 이상의 객체를 검출하고, 검출된 객체를 인식하는 객체검출단계;인식된 객체가 기설정된 장애물기준에 해당하는지 여부를 판별하는 단계; 및장애물로 판별된 객체에 대한 음성출력정보 및 장애물로 판별된 객체에 대한 디스플레이정보를 포함하는 상기 장애물정보를 생성하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 4 |
4
청구항 1에 있어서,상기 적외선센서부는, 3 이상의 적외선센서모듈을 포함하여 각각의 적외선센서모듈이 일정 간격으로 배치되고, 3 이상의 적외선센서모듈은 적외선센서모듈별로 해당 적외선센서모듈 및 해당 적외선센서모듈에서 적외선을 조사하는 지면의 특정 위치간의 거리를 각각 산출하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 5 |
5
청구항 4에 있어서,상기 단차정보생성부는,복수의 적외선센서모듈이 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하는 단계;상기 평균값이 기설정된 제1단차임계기준에 부합하는지 여부를 판별하는 단계; 및상기 평균값이 기설정된 제1단차임계기준에 부합하지 않는 경우, 상기 단차정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 6 |
6
청구항 1에 있어서,상기 상태정보생성부는,스마트글래스에서 측정된 시간의 따른 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하는 제1낙상상태판별을 수행하는 단계; 및상기 제1낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 7 |
7
청구항 6에 있어서,상기 상태정보생성부는,상기 제1낙상상태판별을 수행하는 단계에서 낙상으로 판별된 경우에, 사용자단말기에서 측정된 X축 방향의 변위량, Y축 방향의 변위량, 및 Z축 방향의 변위량에 기초하여 각각의 변위량이 기설정된 기준에 부합하는지 여부를 판별하여 사용자의 제2낙상상태판별을 수행하는 단계;를 더 수행하고,상기 낙상상태정보를 도출하는 단계에서, 상기 제1낙상상태판별을 수행하는 단계 및 상기 제2낙상상태판별을 수행하는 단계에서의 판별결과에 기초하여 사용자의 상기 낙상상태정보를 도출하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 8 |
8
청구항 6에 있어서,상기 상태정보생성부는,상기 스마트보청기의 심박측정모듈로부터 측정된 사용자의 심박에 기초하여 사용자의 스마트보청기 착용여부를 판별할 수 있고,상기 위험알림정보제공부는,상기 낙상상태정보를 도출하는 단계에 의하여 사용자의 상태가 낙상으로 판별되고, 사용자가 상기 스마트보청기를 착용하지 않은 것으로 판별되는 경우에,상기 스마트보청기에서 스마트보청기의 위치를 알릴 수 있는 위치알림사운드를 출력하도록 제어할 수 있는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 9 |
9
청구항 1에 있어서,상기 길안내정보제공부는,사용자단말기로부터 목적지에 대한 입력을 수신하는 단계;사용자의 현위치정보 및 입력된 목적지에 기초하여 목적지까지의 경로정보를 도출하는 단계;상기 경로정보에 기초하여 해당 경로에서 예측되는 장애물에 대한 음성출력정보 및 디스플레이정보를 포함하는 경로장애물정보를 도출하는 단계; 및상기 경로정보 및 상기 경로장애물정보를 포함하는 길안내정보를 상기 스마트글래스에 직접적 혹은 간접적으로 제공하는 단계;를 수행하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조시스템
|
| 10 |
10
사용자단말기와 통신을 수행할 수 있고, 사용자가 착용하는 스마트글래스; 스마트보청기; 및 사용자단말기 및 보호자단말기가 접속할 수 있는 서비스서버를 포함하는 시스템에서 수행되는 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법으로서,상기 스마트보청기는,상기 사용자단말기와 통신을 수행하는 통신모듈; 사용자의 심박을 측정하는 심박측정모듈; 외부의 소리정보가 유입되는 마이크부; 상기 외부의 소리정보가 출력되는 제1모드 및 상기 사용자단말기로부터 수신된 정보가 음성형태로 출력되는 제2모드의 동작을 제어하는 제어부;를 포함하고,상기 스마트글래스는,상기 스마트글래스의 전면에 배치되어 사용자 시점에서의 영상정보를 수집하는 촬영모듈; 적외선을 조사하여 반환되는 신호를 센싱하여 지면과의 거리정보를 도출하는 적외선센서부; 사용자의 움직임신호를 측정하는 움직임센서부; 상기 사용자단말기와 통신을 수행하는 통신모듈; 영상 혹은 정보를 디스플레이하는 글래스디스플레이부; 및 소리를 출력하는 스피커부;를 포함하고,상기 사용자단말기에 의하여 상기 스마트보청기로부터 수신한 상기 소리정보 및 상기 스마트글래스로부터 수신한 상기 영상정보, 상기 거리정보 및 상기 움직임신호를 상기 서비스서버로 송신하는 단계;상기 서비스서버에 의하여,상기 스마트보청기에 의하여 수집된 소리정보에 기초하여 학습된 인공신경망에 의하여 기설정된 시간구간별 사운드특징정보를 도출하고, 상기 사운드특징정보에 기초하여 사용자의 주변환경에 대한 예측정보를 도출하는 주변환경예측단계;상기 영상정보의 이미지프레임에서 객체를 검출하고, 검출된 객체에 대한 장애물정보를 생성하는 장애물정보생성단계;상기 적외선센서부가 도출한 각각의 상기 거리정보에 기초하여 거리들의 평균값을 산출하고, 상기 평균값이 기설정된 기준을 충족하는지 여부에 따른 단차정보를 도출하는 단차정보생성단계;시간에 따른 X, Y, 및 Z축 방향의 변위량을 포함하는 상기 움직임신호 및 상기 사용자의 심박 중 1 이상에 기초하여 사용자의 낙상상태정보를 포함하는 동작상태정보를 도출하는 상태정보생성단계;상기 장애물정보, 상기 단차정보, 상기 주변환경에 대한 예측정보 및 상기 동작상태정보에 기초하여 상기 스마트보청기, 상기 스마트글래스, 상기 사용자단말기, 혹은 상기 보호자단말기에 제공될 위험알림정보를 생성하는 위험알림정보제공단계; 및사용자단말기로부터 목적지에 대한 입력을 수신하고, 해당 목적지로의 경로정보를 포함하는 길안내정보를 생성하는 길안내정보제공단계; 및상기 사용자단말기에 의하여 상기 서비스서버로부터 상기 위험알림정보 및 길안내정보를 수신하여 상기 스마트글래스로 송신하는 단계;를 포함하는, 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조서비스를 제공하는 방법
|
