맞춤기술찾기

이전대상기술

시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템 및 방법

  • 기술번호 : KST2022016830
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 실시예에 따른 시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템 및 방법은 시각장애인이 자율주행 차량을 이용할 수 있도록 하고, 일반 사용자들에게는 자율주행 차량 주행정보 및 상태정보를 청각 신호로도 직관적으로 인식할 수 있도록 하여 운전자에게 정보를 전달하는 속도, 정보 인식 속도 및 운전자 반응속도를 향상시킬 수 있도록 한다. 또한, 시각적 피로도 없이 자율주행 차량을 이용하고, 차량 상태정보를 청각 신호만으로 인식 할 수 있도록 한다. 종래 계기판(Cluster) 시스템의 실시간성을 해치지 않으면서 종래 계기판보다 다양한 정보를 탑승자에게 알릴 수 있다. 차량의 상태, 사고상황 등 시각적으로 확인해야 하는 상황을 청각화 하여 시각장애인에게 신속히 알림으로써, 시각장애인의 자율주행차량 접근성을 높인다. 종래 계기판은 운전 중 빠른 접근을 위해 설계되었으나, 실시예에서 제시하는 시스템은 완전 자율차량의 탑승객을 대상으로 설계되어 자율주행 차량 사용자 편의를 향상시킬 수 있다.
Int. CL B60W 50/14 (2020.01.01) B60W 50/02 (2006.01.01) B60W 30/08 (2006.01.01) B60W 40/105 (2012.01.01) B60W 30/14 (2006.01.01) G06N 3/08 (2006.01.01)
CPC B60W 50/14(2013.01) B60W 50/0205(2013.01) B60W 30/08(2013.01) B60W 40/105(2013.01) B60W 30/14(2013.01) G06N 3/08(2013.01) G07C 5/02(2013.01) G10L 15/26(2013.01) G10L 13/02(2013.01) B60W 2520/10(2013.01) B60Y 2300/08(2013.01) B60Y 2300/14(2013.01)
출원번호/일자 1020190142330 (2019.11.08)
출원인 가톨릭관동대학교산학협력단
등록번호/일자 10-2260574-0000 (2021.05.31)
공개번호/일자 10-2021-0056465 (2021.05.20) 문서열기
공고번호/일자 (20210607) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2019.11.08)
심사청구항수 6

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 가톨릭관동대학교산학협력단 대한민국 강원도 강릉시 범일로**

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이병관 경기도 하남시 대청로**
2 정이나 강원도 강릉시
3 손수락 강원도 강릉시 강변북

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김수진 대한민국 서울특별시 강남구 언주로 *** **층 (역삼동, 윤익빌딩)(유니스특허법률사무소)
2 윤의섭 대한민국 서울특별시 강남구 언주로 ***, **층 유니스특허법률사무소 (역삼동, 윤익빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 가톨릭관동대학교산학협력단 강원도 강릉시 범일로**
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.11.08 수리 (Accepted) 1-1-2019-1146945-93
2 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.11.11 수리 (Accepted) 1-1-2019-1155767-73
3 의견제출통지서
Notification of reason for refusal
2020.10.27 발송처리완료 (Completion of Transmission) 9-5-2020-0742696-79
4 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.12.28 수리 (Accepted) 1-1-2020-1420072-13
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.12.28 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-1420054-02
6 거절결정서
Decision to Refuse a Patent
2021.03.23 발송처리완료 (Completion of Transmission) 9-5-2021-0235872-95
7 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2021.04.23 수리 (Accepted) 1-1-2021-0479897-34
8 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2021.04.23 보정승인 (Acceptance of amendment) 1-1-2021-0479902-86
9 등록결정서
Decision to Grant Registration
2021.05.20 발송처리완료 (Completion of Transmission) 9-5-2021-0399168-61
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템에 있어서,연료, 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 자율주행차량 운용 시스템 각각의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 센서모듈;상기 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버를 포함하는 통신 객체로부터 수신한 메시지 및 진단된 차량 상태를 저장하는 데이터 저장관리모듈;차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 텍스트로 변환하여 자율주행 시각화 정보를 생성하는 제 1변환모듈;상기 제 1변환모듈에서 생성된 자율주행 시각화 정보를 음성정보로 변환하여 자율주행 청각화 정보를 생성하는 제 2변환모듈; 을 포함하고,상기 제1 변환모듈; 은상기 차량에서 센싱된 차량상태정보, 차량 자가진단 데이터 및 주행데이터에 따라 나타나는 차량 상태를 딥러닝을 통해 학습하는 학습부;상기 차량에서 센싱된 차량상태정보, 차량 자가진단 데이터 및 주행데이터를 산출하여 산출 결과에 따라 차량 상태 각각에 대한 확률을 연산하는 연산부; 상기 연산된 확률 중 가장 높은 확률을 나타내는 차량 상태를 텍스트 정보로 변환하는 변환부; 를 포함하고상기 제 2 변환모듈; 은차량상태정보, 차량 자가진단 데이터, 주행데이터 및 변환된 텍스트를 입력받는 데이터 입력부;입력된 데이터 중 웨이브 폼으로 변환할 중요 데이터 및 텍스트 특징을 추출하는 추출부;추출된 중요 데이터에서 부분별 중요도 및 복잡도를 판단하는 판단부; 및판단 결과에 따라 입력된 텍스트와 차량상태정보, 차량 자가진단 데이터, 주행데이터를 청각신호로 변환하는 변환부; 를 포함하는 것을 특징으로 하는 자율주행차량 청각화 시스템
2 2
제 1항에 있어서, 상기 제 2변환모듈; 은 차량 상태정보, 자가진단데이터 및 주행데이터 중 차량의 위험상태를 나타내는 위험상태 알림 정보를 추출하여 상기 추출된 위험상태 알림 정보를 음성정보로 변환하여 자율주행 청각화 정보를 생성하는 것을 특징으로 하는 자율주행차량 청각화 시스템
3 3
삭제
4 4
제 1항에 있어서, 상기 데이터저장관리모듈; 은차량에서 수집하는 차량상태정보, 차량 자가진단 데이터, 주행데이터 및 차량으로 전송된 메시지 정보를 저장하는 저장부;상기 저장된 정보를 시각화 하기 위한 그래픽, 이미지, 텍스트를 저장하는 데이터 시각화 라이브러리;상기 차량에서 수집하는 차량상태정보, 차량자가진단데이터, 주행데이터 및 텍스트 정보를 청각화 하는 웨이브 포멧을 저장하는 웨이브 포멧(Wave Format) 라이브러리; 를 포함하는 것을 특징으로 하는 자율주행차량 청각화 시스템
5 5
삭제
6 6
시각장애인을 위한 딥러닝 기반 자율주행차량 청각화 시스템의 청각정보 생성방법에 있어서,센서모듈은 연료, 배터리 잔량을 포함하는 차량상태정보 및 차량 내부통신시스템, 주행시스템을 포함하는 차량의 자가 진단 데이터를 센싱하고, RPM, 속도, 속도변화량을 포함하는 주행데이터를 감지하는 제 1단계;데이터저장관리모듈은 상기 센서모듈에서 감지된 차량 상태정보, 차량의 자가진단 데이터 및 주행데이터를 수집하여 저장하고, 차량과 통신하는 외부 서버로부터 수신한 메시지 및 진단된 차량 상태를 저장하는 제2단계;제1변환모듈은 차량 상태정보, 차량 자가진단 데이터 및 주행데이터를 텍스트로 변환하여 자율주행 시각화 정보를 생성하는 제3단계; 및제2변환모듈은 상기 제1변환모듈에서 생성된 자율주행 시각화 정보를 음성정보로 변환하여 자율주행 청각화 정보를 생성하는 제4단계; 를 포함하고, 상기 제 3단계; 는 상기 차량에서 센싱된 차량상태정보, 차량 자가진단 데이터 및 주행데이터에 따라 나타나는 차량 상태를 딥러닝을 통해 학습하는 단계;상기 차량에서 센싱된 차량상태정보, 차량 자가진단 데이터 및 주행데이터를 산출하여 산출 결과에 따라 차량 상태 각각에 대한 확률을 연산하는 단계; 상기 연산된 확률 중 가장 높은 확률을 나타내는 차량 상태를 텍스트 정보로 변환하는 단계; 를 포함하고,상기 제 4단계; 는차량상태정보, 차량 자가진단 데이터, 주행데이터 및 변환된 텍스트를 입력받는 단계;입력된 데이터 중 웨이브 폼으로 변환할 중요 데이터 및 텍스트 특징을 추출하는 단계;추출된 중요 데이터에서 부분별 중요도 및 복잡도를 판단하는 단계; 및판단 결과에 따라 입력된 텍스트와 차량상태정보, 차량 자가진단 데이터, 주행데이터를 청각신호로 변환하는 단계;를 포함하는 것을 특징으로 하는 청각정보 생성방법
7 7
제 6항에 있어서, 상기 제 3단계; 는 차량 상태정보, 자가진단데이터 및 주행데이터 중 차량의 위험상태를 나타내는 위험상태 알림 정보를 추출하는 단계; 및 상기 추출된 위험상태 알림 정보를 음성정보로 변환하여 자율주행 청각화 정보를 생성하는 단계; 를 포함하는 것을 특징으로 하는 청각정보 생성방법
8 8
삭제
9 9
제 6항에 있어서, 상기 제2단계;는차량에서 수집하는 차량상태정보, 차량 자가진단 데이터, 주행데이터 및 차량으로 전송된 메시지 정보를 저장하는 단계;상기 저장된 정보를 시각화 하기 위한 그래픽, 이미지, 텍스트를 저장하는 단계;상기 차량에서 수집하는 차량상태정보, 차량 자가진단 데이터, 주행데이터 및 텍스트 정보를 청각화 하는 웨이브 포멧을 저장하는 단계;를 포함하는 것을 특징으로 하는 청각정보 생성방법
10 10
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 한국연구재단 가톨릭관동대학교 중견연구자지원사업 자율차량에 최적화된 딥러닝 기반 통합 자가진단 모니터링 시스템 개발