| 1 |
1
1 이상의 촬영장치를 포함하는 스마트글래스, 상기 스마트글래스를 착용하는 시각장애인 및 저시력자의 사용자단말기에 설치되는 제1어플리케이션, 상기 시각장애인 및 저시력자에게 도움을 제공하는 시각보조도우미의 사용자단말기에 설치되는 제2어플리케이션 및 상기 제1어플리케이션 및 상기 제2어플리케이션과 통신을 수행하여 실시간 영상통신서비스를 제공하는 서비스서버를 포함하는, 시각장애인 및 저시력자를 위한 생활보조 시스템으로서,상기 스마트글래스는상기 시각장애인의 입력에 따라 상기 스마트글래스의 전면에 배치된 1 이상의 촬영장치를 통해 상기 시각장애인의 주시 방향에 대한 영상 이미지를 촬영하는 이미지촬영단계;를 수행하고,상기 제1어플리케이션은상기 이미지촬영단계에서 촬영한 영상 이미지를 수신하고, 상기 시각장애인의 주시 방향에 존재하는 1 이상의 객체에 대한 식별을 요청하는 객체식별요청정보를 생성하는 객체식별요청단계; 및상기 시각장애인의 요청에 따라 실시간 영상통신서비스 및 현장방문서비스를 포함하는 도움서비스에 대한 요청정보를 생성하는 도움서비스요청단계; 및 상기 도움서비스요청단계;에서 수신한 도움서비스요청정보를 상기 서비스서버에 송신하고, 상기 제2어플리케이션과 영상통신을 수행하여 상기 시각장애인에게 도움서비스를 제공하는 도움서비스제공단계;를 수행하고,상기 서비스서버는기계학습된 학습모델을 사용하여 상기 객체식별요청단계를 통해 수신한 복수의 이미지 또는 영상 데이터에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션에 제공하는 객체정보제공단계; 상기 도움서비스요청단계를 통해 수신한 도움서비스요청정보에 기초하여 영상통신서비스정보를 도출하고, 상기 영상통신서비스정보에 기초하여 상기 시각장애인의 상기 제1어플리케이션과 상기 시각보조도우미의 상기 제2어플리케이션을 매칭하여 영상통신서비스를 수행할 수 있는 영상통신채널정보를 생성하는 매칭단계; 및상기 영상통신채널정보에 기초하여 상기 제1어플리케이션 및 상기 제2어플리케이션을 중개하여 동일 영상통신서버에 접속시켜 실시간영상통신서비스를 제공하는 영상통신서비스제공단계;를 수행하는, 시각장애인 및 저시력자를 위한 생활보조 시스템
|
| 2 |
2
청구항 1에 있어서,상기 객체정보제공단계는,상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체를 식별하고, 상기 식별된 객체에 대한 객체식별정보를 도출하고,상기 1 이상의 이미지의 전체 영역에서 기설정된 크기 이상의 영역을 차지하는 객체가 존재하지 않는 경우, 상기 제1어플리케이션으로 상기 이미지촬영단계를 다시 수행하도록 요청하는 재촬영요청정보를 송신하는, 시각장애인 및 저시력자를 위한 생활보조 시스템
|
| 3 |
3
청구항 1에 있어서,상기 도움서비스제공단계에서 상기 제1어플리케이션에 의하여 상기 시각장애인의 사용자단말기 및 상기 제2어플리케이션에 의하여 상기 시각보조도우미의 사용자단말기에 표시되는 화면은,상기 스마트글래스로부터 수신한 영상 이미지를 표시하는 영상이미지레이어,상기 시각보조도우미의 사용자단말기에 포함하는 촬영부에 의한 영상정보를 표시하는 시각보조도우미레이어; 및 상기 시각장애인의 사용자단말기로부터 수신한 위치정보를 시각적으로 표시하는 지도레이어를 포함하는, 시각장애인 및 저시력자를 위한 생활보조 시스템
|
| 4 |
4
청구항 1에 있어서,상기 매칭단계는GPS에 기초하여 상기 시각장애인의 사용자단말기로부터 수신한 시각장애인위치정보 및 상기 시각보조도우미의 사용자단말기로부터 수신한 시각보조도우미위치정보를 수신하는 위치정보수신단계; 및 상기 시각장애인위치정보 및 상기 시각보조도우미위치정보에 기초하여 상기 시각장애인의 상기 제1어플리케이션과 상기 시각보조도우미의 상기 제2어플리케이션을 매칭하는 위치기반매칭단계;를 포함하는, 시각장애인 및 저시력자를 위한 생활보조 시스템
|
| 5 |
5
청구항 4에 있어서,상기 제2어플리케이션은 현장방문서비스의 수행가능여부를 송신하는 현장방문응답단계;를 수행하고,상기 위치기반매칭단계에서 상기 시각장애인의 상기 제1어플리케이션과 상기 시각보조도우미의 상기 제2어플리케이션을 매칭하는 기준은,상기 시각보조도우미의 사용자단말기로부터 수신한 단말기식별정보가 모바일단말기이고 현장방문서비스가 수행가능한 사용자단말기의 제2어플리케이션에 제1가중치를 부여하고, 상기 시각장애인위치정보 및 상기 시각보조도우미위치정보의 차가 기설정된 기준 이하인 사용자단말기의 제2어플리케이션에 제2가중치를 부여하는, 시각장애인 및 저시력자를 위한 생활보조 시스템
|
| 6 |
6
1 이상의 촬영장치를 포함하는 스마트글래스, 상기 스마트글래스를 착용하는 시각장애인 및 저시력자의 사용자단말기에 설치되는 제1어플리케이션, 상기 시각장애인 및 저시력자에게 도움을 제공하는 시각보조도우미의 사용자단말기에 설치되는 제2어플리케이션 및 상기 제1어플리케이션 및 상기 제2어플리케이션과 통신을 수행하여 실시간 영상통신서비스를 제공하는 서비스서버를 포함하는, 시각장애인 및 저시력자 생활보조 시스템의 구현방법으로서,상기 스마트글래스에 의한상기 시각장애인의 입력에 따라 상기 스마트글래스의 전면에 배치된 1 이상의 촬영장치를 통해 상기 시각장애인의 주시 방향에 대한 영상 이미지를 촬영하는 이미지촬영단계;를 포함하고,상기 제1어플리케이션에 의한상기 이미지촬영단계에서 촬영한 영상 이미지를 수신하고, 상기 시각장애인의 주시 방향에 존재하는 1 이상의 객체에 대한 식별을 요청하는 객체식별요청정보를 생성하는 객체식별요청단계; 및상기 시각장애인의 요청에 따라 실시간 영상통신서비스 및 현장방문서비스를 포함하는 도움서비스에 대한 요청정보를 생성하는 도움서비스요청단계; 및 상기 도움서비스요청단계;에서 수신한 도움서비스요청정보를 상기 서비스서버에 송신하고, 상기 제2어플리케이션과 영상통신을 수행하여 상기 시각장애인에게 도움서비스를 제공하는 도움서비스제공단계;를 포함하고,상기 서비스서버에 의한기계학습된 학습모델을 사용하여 상기 객체식별요청단계를 통해 수신한 복수의 이미지 또는 영상 데이터에서 1 이상의 객체를 식별하고, 식별된 1 이상의 객체에 대한 객체정보를 상기 제1어플리케이션에 제공하는 객체정보제공단계; 상기 도움서비스요청단계를 통해 수신한 도움서비스요청정보에 기초하여 영상통신서비스정보를 도출하고, 상기 영상통신서비스정보에 기초하여 상기 시각장애인의 상기 제1어플리케이션과 상기 시각보조도우미의 상기 제2어플리케이션을 매칭하여 영상통신서비스를 수행할 수 있는 영상통신채널정보를 생성하는 매칭단계; 및상기 영상통신채널정보에 기초하여 상기 제1어플리케이션 및 상기 제2어플리케이션을 중개하여 동일 영상통신서버에 접속시켜 실시간영상통신서비스를 제공하는 영상통신서비스제공단계;를 포함하는, 시각장애인 및 저시력자 생활보조 시스템의 구현방법
|
