맞춤기술찾기

이전대상기술

뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템

  • 기술번호 : KST2019035615
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은, 자율신경계 생체신호와 상기 자율신경계 생체신호로부터 추정한 뇌 활동의 특징을 입력하여 생성된, 빅데이터 기반의 기계학습모델을 이용하여, 운전자의 생체신호에 따른 뇌활동도를 판단하고, 상기 뇌활동도에 따라 운전자의 집중도 및 피로도 상태를 출력하는, 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템에 관한 것이다. 본 발명의 집중도 또는 피로도 또는 졸음 모니터링 시스템은, PPG(광용적 맥파) 검출부를 포함하며, 운전자로부터, PPG 신호를 포함하되 뇌파를 제외한 자율신경계 신호를 검출하고, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는, 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하여, 검출된 자율신경계 신호의 특징을 입력벡터로서 입력되면, 심층신경망(DNN)의 회귀모델을 이용하여, 뇌활성도를 출력하는, 뇌활성도 검출부; 뇌활성도 검출부로부터 검출된 뇌활성도가 입력되면 심층신경망(DNN)의 회귀모델을 이용하여, 졸음정도를 나타내는 졸음 점수를 출력하는, 졸음상태 분류기;를 포함하는 것을 특징으로 한다.
Int. CL A61B 5/00 (2006.01.01) A61B 5/024 (2006.01.01) A61B 5/0476 (2006.01.01) A61B 5/16 (2006.01.01) A61B 5/053 (2006.01.01) A61B 5/01 (2006.01.01)
CPC A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01) A61B 5/7264(2013.01)
출원번호/일자 1020180055648 (2018.05.15)
출원인 연세대학교 원주산학협력단
등록번호/일자
공개번호/일자 10-2019-0130925 (2019.11.25) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.05.15)
심사청구항수 17

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 원주산학협력단 대한민국 강원도 원주시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김경환 강원도 원주시 명
2 김현 부산광역시 해운대구
3 여동훈 강원도 원주시
4 허성진 강원도 춘
5 서부경 서울특별시 양천구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 민혜정 대한민국 서울특별시 송파구 오금로 **, ***호(방이동, 잠실리시온)(스텔라국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 원주산학협력단 강원도 원주시
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.05.15 수리 (Accepted) 1-1-2018-0478787-59
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.01.02 수리 (Accepted) 1-1-2019-0004006-26
3 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.02.22 수리 (Accepted) 1-1-2019-0188438-06
4 선행기술조사의뢰서
Request for Prior Art Search
2019.04.15 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2019.07.11 발송처리완료 (Completion of Transmission) 9-6-2019-0128571-90
6 의견제출통지서
Notification of reason for refusal
2019.12.04 발송처리완료 (Completion of Transmission) 9-5-2019-0879224-08
7 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2020.02.03 수리 (Accepted) 1-1-2020-0113247-60
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.02.04 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0117139-20
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2020.02.04 수리 (Accepted) 1-1-2020-0117249-44
10 의견제출통지서
Notification of reason for refusal
2020.06.12 발송처리완료 (Completion of Transmission) 9-5-2020-0404401-90
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.06.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0614842-89
12 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.06.15 수리 (Accepted) 1-1-2020-0614871-03
13 [지정기간단축]기간 연장신청서·기간 단축신청서·기간 경과 구제신청서·절차 계속신청서
2020.07.27 수리 (Accepted) 1-1-2020-0783846-80
14 등록결정서
Decision to grant
2020.08.03 발송처리완료 (Completion of Transmission) 9-5-2020-0527583-86
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
PPG(광용적 맥파) 신호를 검출하는 PPG 검출부를 포함하며, 뇌파를 제외한 자율신경계 신호를 검출하고, 잡음을 제거하여 증폭하고, 디지탈신호로 변환하는 자율신경계 신호 검출부를 포함하는 생체신호 검출부;생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하고, 검출된 자율신경계 신호의 특징을 입력벡터로서 심층신경망(DNN)으로 이루어진, 기학습된 뇌활성도 학습모델에 입력하여, 뇌활성도 학습모델로부터 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 출력하게 하며, 출력된 뇌활성도와 자율신경계 신호의 특징을 인공지능의 회귀모델로 이루어진, 기학습된 집중도/피로도/졸음 학습모델에 입력하여 집중도/피로도/졸음 학습모델로부터 집중도/피로도/졸음의 정도를 점수(집중도/피로도/졸음 점수)로 출력하는 연산처리부;를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
2 2
뇌파를 제외하며, PPG(광용적 맥파) 신호를 포함하는 자율신경계 신호를 검출하여, 잡음을 제거하고 증폭하고, 디지탈신호로 변환하는 자율신경계 신호 검출부를 포함하는 생체신호 검출부; 생체신호 검출부로부터 수신된 자율신경계 신호를 이용하여 집중도/피로도/졸음(집중도 또는 피로도 또는 졸음)의 뇌활성도를 추출하는 연산처리부를 포함하는 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템에 있어서, 연산처리부는생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는 특징 검출부;특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 기학습된 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는 뇌활성도 판단부;뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 기학습된 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는 집중도/피로도/졸음 판단부;를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
3 3
제1항에 있어서,인공지능의 회귀모델은 서포트 벡터 머신(SVM) 또는 서포트 벡터 회귀(Support Vector Regression, SVR)인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
4 4
제1항 내지 제3항 중 어느 한 항에 있어서,뇌활성도 학습모델의 학습시에는,생체신호 검출부는 뇌파를 검출하는 뇌파 검출부를 더 포함하여, 집중도/피로도/졸음 시에, PPG를 포함하는 자율신경계 신호뿐만아니라, 뇌파를 동시에 검출하고, 연산처리부는, 상기 뇌파 및 자율신경계 신호로부터, 심박변이를 포함하는 자율신경계 신호의 특징뿐만 아니라, 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파의 특징을 검출하며, 뇌파의 특징 및 자율신경계 신호의 특징을, 뇌활성도 학습모델에 입력하여 학습시키는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
5 5
제3항에 있어서,집중도/피로도/졸음 학습모델의 학습시에는, 집중도/피로도/졸음의 점수 기록부를 더 포함하며, 생체신호 검출부는 뇌파를 검출하는 뇌파 검출부를 더 포함하고,연산처리부는, 뇌파 검출부로부터 수신된 뇌파 신호 및 자율신경계 신호 검출부로부터 수신된 자율신경계 신호뿐만아니라, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수를, 집중도/피로도/졸음 학습모델에 입력하여 학습시키도록 이루어지되, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수는, 뇌활성도 학습모델의 학습을 위한 뇌파 및 자율신경계 신호의 검출시에, 입력도구에 의해 사용자로부터 입력된 집중도/피로도/졸음 점수이거나, 뇌파 검출부로부터의 뇌파 또는 자율신경계 신호 검출부로부터의 자율신경계 신호로부터 검출된, 집중도/피로도/졸음 점수인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
6 6
삭제
7 7
제1항에 있어서, 연산처리부는생체신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는 특징 검출부;특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는 뇌활성도 판단부;뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는 집중도/피로도/졸음 판단부를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
8 8
제2항 또는 제7항 중 어느 한 항에 있어서,생체신호 검출부는, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부, 피부 컨덕턴스(skin conductance)를 검출하는 GSR(피부 전기 전도도) 검출부, 피부 온도를 검출하는 SKT(피부 온도) 검출부, 사용자의 눈을 촬영하는 카메라를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
9 9
제8항에 있어서,특징 검출부는
10 10
제9항에 있어서,자율신경계 신호의 특징은, 맥파(PPG) 신호, 피부 컨덕턴스 신호 및 피부 온도(SKT)의 진폭 (amplitude) 또는 표준편차를 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
11 11
제5항에 있어서,뇌활성도 학습모델 및 집중도/피로도/졸음 학습모델의 학습시에,생체신호 검출부는 뇌파를 검출하는 뇌파 검출부를 포함하고, 연산처리부는,자율신경계 신호 검출부로부터 수신된 자율신경계 신호로부터, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하며, 뇌파 검출부로부터 수신된 뇌파의 주파수 대역에 따른 파워스펙트럼을 포함하는 뇌파 특징들을 검출하는, 특징 검출부;특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 부여된 집중도/피로도/졸음 점수를 상태점수 기준치와 비교하여, 집중도/피로도/졸음 점수가 상태점수 기준치보다 같거나 높은 뇌파 특징들인 제1 뇌파 특징군과, 집중도/피로도/졸음 점수가 상태점수 기준치보다 낮은 뇌파 특징인 제2 뇌파 특징군으로 나누고, 제1 뇌파 특징군 및 제2 뇌파 특징군의 평균치를 구하고, 독립표본 t 검정을 수행하여 통계적으로 유의하게 차이가 나는 제1 뇌파 특징군을 집중도/피로도/졸음의 뇌파지표로 출력하거나, 또는, 특징 검출부로부터 수신된 뇌파 특징에 대해, 집중도/피로도/졸음의 정도에 따라 집중도/피로도/졸음 점수를 부여하며, 뇌파 특징과 집중도/피로도/졸음 점수를 스피어만 상관 분석(Spearman correlation)을 수행하여 유의한 상관관계를 갖는 뇌파 특징을 검출하여 집중도/피로도/졸음의 뇌파지표로 출력하는, 집중도/피로도/졸음 뇌파지표 추출부;집중도/피로도/졸음 뇌파지표 추출부로부터 수신된 집중도/피로도/졸음 뇌파지표와, 특징 검출부로부터 수신된 자율신경계 신호의 특징으로, 뇌활성도 학습모델을 학습시키는, 뇌활성도 학습부;특징 검출부로부터 수신된 뇌파 특징과, 특징 검출부로부터 수신된 자율신경계 신호의 특징과, 집중도/피로도/졸음의 점수 기록부로부터 수신된 집중도/피로도/졸음 점수로, 집중도/피로도/졸음 학습모델을 학습시키는, 집중도/피로도/졸음 학습부;를 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
12 12
제11항에 있어서,자율신경계 신호의 특징은, 피부 온도(SKT), 심박 변이(PAV), 피부 컨덕턴스 반응(SCR), 동공 위치, 동공 크기를 포함하며,뇌파의 주파수 대역에 따른 파워스펙트럼은 델타파, 세타파, 알파파, 베타파, 감마파에 대한 파워스펙트럼인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
13 13
제12항에 있어서,자율신경계 신호의 특징은, 맥파를 포함하는 자율신경계 신호의 진폭 (amplitude) 또는 표준편차를 더 포함하며,뇌파 특징은, 세타/베타 비율(theta/beta ratio)을 포함하는 뇌파의 주파수 대역에 대한 파워 비율, 위상(Phase)을 이용한 영역 간 기능적 연결성, 정보 엔트로피(Shannon entropy), 독립성분(Individual component), 발산지수(Lyapunov exponent), 프랙탈 차원(fractal dimension)을 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
14 14
제1항 또는 제2항 중 어느 한 항에 있어서,집중도/피로도/졸음 학습모델은 학습된 이진 또는 다 클래스(multiclass) 분류기인 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템
15 15
삭제
16 16
삭제
17 17
생체신호 검출부로부터 수신된 자율신경계 신호로부터, 연산처리부는, 심박 변이를 포함하는 자율신경계 신호의 특징을 검출하는, 특징 검출단계;연산처리부에서, 특징 검출부로부터 수신된 심박 변이를 포함하는 자율신경계 신호의 특징을 입력벡터로서, 심층신경망(DNN)을 이용하는 기학습된 뇌활성도 학습모델에 입력되면, 뇌활성도 학습모델은 집중도/피로도/졸음의 뇌파지표를 출력하는, 뇌활성도 판단 단계;연산처리부에서, 뇌활성도 학습모델로부터 출력된 집중도/피로도/졸음의 뇌파지표 및 특징 검출부로부터 수신된 자율신경계 신호의 특징을, 입력벡터로서, 서포트 벡터 머신(SVM)을 이용하는 기학습된 집중도/피로도/졸음 학습모델에 입력되면, 집중도/피로도/졸음 학습모델은 집중도/피로도/졸음의 점수를 출력하는, 집중도/피로도/졸음 분류 단계;를 포함하여 이루어진 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템의 구동방법
18 18
제17항에 있어서,생체신호 검출부는, PPG(광용적 맥파) 신호를 검출하는 PPG 검출부, 피부 컨덕턴스(skin conductance)를 검출하는 GSR(피부 전기 전도도) 검출부, 피부 온도를 검출하는 SKT(피부 온도) 검출부, 사용자의 눈을 촬영하는 카메라를 포함하며, 특징 검출 단계는
19 19
제18항에 있어서,자율신경계 신호의 특징은, 맥파(PPG) 신호, 피부 컨덕턴스 신호 및 피부 온도(SKT)의 진폭 (amplitude) 또는 표준편차를 더 포함하는 것을 특징으로 하는, 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템의 구동방법
20 20
삭제
21 21
삭제
22 22
제17항 내지 제19항 중 어느 한 항의 집중도 또는 피로도 또는 졸음 중 어느 하나를 모니터링하는 시스템의 구동방법에 대한 컴퓨터 프로그램 소스를 저장한 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 국토교통부 연세대학교 원주산학협력단 국토교통기술촉진연구사업 손목착용형 센서모듈 측정 생리신호 기반 운전자 집중도/피로도 모니터링 핵심원천기술 개발