맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법(Device, system and method for informing about 3D obstacle or information for blind person)

  • 기술번호 : KST2016012365
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상과, 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 대한 주변 장애물과의 거리를 산출하고 이에 대한 안내정보를 음성으로 제공함과 더불어 사용자의 시선방향에 대한 객체의 증강현실 정보를 음성으로 제공할 수 있도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법에 관한 것이다.본 발명에 따른 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 장애물 안내시스템 및 그 방법은 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되는 것을 특징으로 한다.
Int. CL G06Q 50/22 (2012.01) A61F 9/08 (2006.01)
CPC A61F 9/08(2013.01) A61F 9/08(2013.01) A61F 9/08(2013.01)
출원번호/일자 1020140182494 (2014.12.17)
출원인 경북대학교 산학협력단
등록번호/일자
공개번호/일자 10-2016-0074736 (2016.06.29) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2014.12.17)
심사청구항수 20

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대한민국 대구광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 양승한 대한민국 대구광역시 남구
2 박성령 대한민국 대구광역시 동구
3 송영철 대한민국 대구광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인(유한) 해담 대한민국 서울특별시 강남구 논현로 ***, **층 *호(역삼동, 송촌빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대구광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2014.12.17 수리 (Accepted) 1-1-2014-1227642-14
2 선행기술조사의뢰서
Request for Prior Art Search		 2015.09.11 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2015.10.08 수리 (Accepted) 9-1-2015-0064760-23
4 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)		 2016.01.27 수리 (Accepted) 1-1-2016-0089355-56
5 의견제출통지서
Notification of reason for refusal		 2016.03.12 발송처리완료 (Completion of Transmission) 9-5-2016-0188330-17
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2016.05.11 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-0448503-94
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2016.05.11 수리 (Accepted) 1-1-2016-0448490-88
8 등록결정서
Decision to grant		 2016.07.28 발송처리완료 (Completion of Transmission) 9-5-2016-0544229-54
9 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2018.03.26 수리 (Accepted) 4-1-2018-5051994-32
10 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.06.23 수리 (Accepted) 4-1-2020-5136893-04
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과,사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단,충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및,상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되되,상기 제어수단은 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향과 시선방향을 판단하여, 이동방향에 대응되는 3차원 영상에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 시선방향 3차원 영상에서 이동방향 3차원 영상 영역을 제외한 영역에 대해 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
2 2
제1항에 있어서,상기 제어수단은 방향정보와 위치정보를 포함하여 구성되는 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
3 3
제1항 또는 제2항에 있어서,상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호에 대해 저역 통과 필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
4 4
제1항에 있어서,상기 제어수단은 상기 좌우 카메라로부터 제공되는 좌우 영상 각각에 대한 카메라 왜곡에 따른 캘리브레이션처리를 수행하고, 캘리브레이션 처리된 좌우 영상을 이용하여 3차원 영상을 생성하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
5 5
제1항에 있어서,상기 감지수단은 자이로센서와 가속도센서를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
6 6
삭제
7 7
제1항에 있어서,상기 제어수단은 관심영역에서 장애물과의 거리가 일정 거리 이내 범위인 장애물 충돌 위험 영상을 데이터메모리에 저장하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치
8 8
시각장애인을 위한 장애물 안내 서비스를 제공하는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하기 위한 위치정보 제공서버와 통신하도록 구성되고, 상기 사용자단말은 상기 장애물 안내장치와 통신하기 위한 제1 통신모듈과, 위치 정보의 수신을 위한 GPS 수신기 및, 상기 위치정보 제공서버와 통신하기 위한 제2 통신모듈을 포함하여 구성됨과 더불어, 증강현실 서비스 제공을 위한 어플리케이션이 설치되도록 구성되어, 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 상기 GPS 수신기로부터 제공되는 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보 제공서버로 제공하고, 이에 대해 위치정보 제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하도록 구성되며,상기 장애물 안내장치는 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하면서, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우, 시선방향 정보를 추출하여 상기 사용자단말로 제공하고, 이에 대해 사용자단말로부터 제공되는 객체정보를 음성출력수단을 통해 음성출력하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템
9 9
삭제
10 10
제8항에 있어서,상기 감지수단은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU 센서로 구성되어, 속도와 이동방향, 시선방향 및 절대 방향에 대응되는 센서신호를 상기 제어수단으로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템
11 11
제8항 또는 제10항에 있어서,상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호를 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템
12 12
좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 시각장애인을 위한 3차원 장애물 안내장치의 장애물 안내방법에 있어서,상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와,상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계,상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계,상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계,상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법
13 13
제12항에 있어서,상기 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법
14 14
제12항에 있어서,상기 제5 단계는 제4 단계에서 설정된 이동방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법
15 15
제12항에 있어서,상기 제5 단계는 관심영역에서 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법
16 16
제12항에 있어서,상기 제5 단계는 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상의 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법
17 17
좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하는 위치정보 제공서버와 통신하도록 구성되는 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 주위 정보 안내 방법에 있어서,상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계 및, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 위험 안내 단계와, 상기 장애물 안내장치에서 상기 감지수단으로부터 제공되는 방향정보를 상기 사용자단말로 제공하는 제21 단계와, 상기 사용자단말에서 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 GPS 수신기로부터 획득한 현재 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보제공서버로 제공하는 제22 단계, 상기 위치정보 제공서버에서 해당 위치 및 방향에 대응되는 객체정보를 검색하여 상기 사용자단말로 제공하는 제23 단계, 상기 사용자단말에서 상기 위치정보제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하는 제24 단계 및, 상기 장애물 안내장치에서 상기 사용자단말로부터 제공되는 객체정보를 음성출력하는 제25 단계를 포함하여 구성되는 증강현실 구현단계로 이루어지는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
18 18
제17항에 있어서,상기 증강현실 구현단계는 상기 장애물 안내장치의 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우에 한하여 수행되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
19 19
제17항에 있어서,상기 위험 안내 단계에서 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
20 20
제17항에 있어서,상기 위험 안내 단계에서 제5 단계는 상기 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
21 21
제17항에 있어서,상기 위험 안내 단계에서 제5 단계는 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
22 22
제17항에 있어서,상기 위험 안내 단계에서 제5 단계는 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상에 존재하는 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2016099052 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2016099052 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 경북대학교 기본연구지원사업 시각장애인을 위한 장애물의 3차원 위치 정보 인지 기능 증강 시스템 개발
2 교육부 경북대학교 이공분야 중점 연구소 지원 사업 휴먼 오그멘테이션 로봇 기반기술 연구