| 1 |
1
시각장애인 인지보조 시스템으로서,촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,상기 서버는,상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출부; 및상기 사물검출부에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더부;를 포함하는, 시각장애인 인지보조 시스템
|
| 2 |
2
청구항 1에 있어서,상기 사물검출부는,상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 상기 객체에 대한 상기 음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템
|
| 3 |
3
청구항 1에 있어서,상기 사물검출부는,상기 이미지에서 검출한 객체의 수를 판별하는 단계; 및검출한 상기 객체의 수가 2 이상인 경우에, 학습된 인공신경망을 통해 검출한 상기 객체를 인식하고, 인식한 2 이상의 객체에 대한 좌표정보 및 인식한 2 이상의 객체에 대해 기설정된 기준에 따라 매핑된 아이콘정보를 포함하는 점자출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템
|
| 4 |
4
청구항 1에 있어서,상기 사물검출부는,상기 이미지에서 검출한 객체의 수를 판별하는 단계;검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계;인식한 객체에 대한 객체정보 및 인식한 객체로부터 추출한 특징점에 기초하여 객체의 형태가 표시되는 점자출력정보를 생성하는 딘계;를 수행하는, 시각장애인 인지보조 시스템
|
| 5 |
5
청구항 1에 있어서,상기 사물검출부는,상기 이미지에서 검출한 객체의 수를 판별하는 단계;검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계;상기 이미지에 인식한 객체의 형태가 모두 포함되지 않은 경우, 인식한 객체에 대한 음성출력정보 및 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템
|
| 6 |
6
청구항 1에 있어서,상기 사물검출부는,상기 이미지에서 검출한 객체의 수를 판별하는 단계;검출한 상기 객체가 하나인 경우, 학습된 인공신경망을 통해 해당 객체를 인식하는 단계; 및상기 인공신경망을 통해 해당 객체가 인식되지 않는 경우, 상기 스마트글래스의 위치조절에 대한 가이드음성출력정보를 생성하는 단계;를 수행하는, 시각장애인 인지보조 시스템
|
| 7 |
7
청구항 1에 있어서,상기 북리더부는,상기 이미지에서 검출된 상기 도서이미지의 기울기 및 색상 중 1 이상을 기설정된 기준에 따라 변경하여 전처리하는 이미지전처리단계;상기 이미지전처리단계에서 전처리된 이미지에 기초하여 1 이상의 텍스트영역 및 1 이상의 이미지영역을 도출하는 텍스트이미지영역도출단계;도출된 상기 1 이상의 텍스트영역의 출력순서를 결정하고, 상기 출력순서에 따라 상기 1 이상의 텍스트영역에 포함된 텍스트를 인식하여 상기 점자패드에서 점자출력될 상기 도서텍스트정보를 도출하는 텍스트인식단계;를 수행하는, 시각장애인 인지보조 시스템
|
| 8 |
8
청구항 1에 있어서,상기 북리더부에 의하여 제공되는 점자패드에서의 화면은,상기 이미지에서 검출된 도서이미지로부터 1 이상의 텍스트영역 및 1 이상의 이미지영역이 추출되어, 추출된 1 이상의 텍스트영역에 포함된 텍스트가 순차적으로 정렬되어 디스플레이되고,사용자의 입력에 따라 상기 북리더부에 의하여 검출된 1 이상의 도서 이미지정보에 대한 리스트를 제공하는, 시각장애인 인지보조 시스템
|
| 9 |
9
청구항 7에 있어서,상기 북리더부는,도출된 상기 1 이상의 이미지영역에서 추출한 도서이미지정보를 인식하는 이미지인식단계;를 더 수행하고,상기 북리더부에 의하여 제공되는 점자패드에서의 화면은,사용자의 입력에 따라 상기 1 이상의 도서이미지정보에 대한 리스트를 상기 이미지인식단계에서 인식한 이미지정보를 포함하여 제공하는, 시각장애인 인지보조 시스템
|
| 10 |
10
시각장애인 인지보조 시스템에서 구현되는 시각장애인 인지보조 서비스 제공방법으로서,상기 시각장애인 인지보조 시스템은,촬영모듈 및 통신모듈을 포함하고, 상기 촬영모듈에 의하여 촬영된 이미지를 사용자단말기에 송신하는 스마트글래스;사용자단말기로부터 수신한 데이터에 기초하여 점자 출력을 수행하여 사용자에게 촉각 정보를 제공할 수 있는 점자패드; 및사용자단말기와 데이터 송수신을 수행하는 서버;를 포함하고,상기 서버는,상기 이미지에서 객체를 검출하고, 이에 따라 상기 점자패드에서 출력이 될 점자출력정보 혹은 상기 사용자단말기, 점자패드, 혹은 스마트글래스 중 어느 하나에서 출력이 될 음성출력정보를 생성하는 사물검출단계; 및상기 사물검출단계에서 상기 이미지에서 도서이미지를 검출하는 경우에, 상기 점자패드에서 점자출력될 해당 도서의 도서텍스트정보 및 도서이미지정보를 추출하는 북리더단계;를 포함하는, 시각장애인 인지보조 서비스 제공방법
|
