맞춤기술찾기

이전대상기술

운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치 및 방법

  • 기술번호 : KST2022011249
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명의 바람직한 실시예에 따른 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치 및 방법은, 사용자 간 성능 격차를 완화하기 위해 사용자 독립적인 뇌파 기반 운전자 졸음 상태 분류 모델로, 사용자 적대적 학습(Subject Adversarial Training, SAT)을 이용하여 운전자 졸음 상태 분류 모델이 사용자 레이블을 잘못 분류하도록 하고, 서로 다른 사용자 특징 간의 거리를 최소화하는 IFDM(Inter-subject Feature Distance Minimization) 방법을 이용하여 사용자별 성능의 불일치를 줄일 수 있어, 사용자에 상관없이 적용할 수 있고, 또한, 본 발명에 따른 사용자 분류 모델을 통해 뇌파 사용자 레이블이 부족한 경우에 수도 레이블(psedo label)을 획득할 수 있어, 학습 데이터가 부족하더라도 운전자 졸음 상태 분류 모델을 구축할 수 있다.
Int. CL G06N 20/00 (2019.01.01) G06N 5/02 (2006.01.01) A61B 5/18 (2006.01.01) A61B 5/372 (2021.01.01) A61B 5/00 (2021.01.01) B60W 40/08 (2006.01.01)
CPC G06N 20/00(2013.01) G06N 5/025(2013.01) B60W 40/08(2013.01) A61B 5/18(2013.01) A61B 5/372(2013.01) A61B 5/7264(2013.01) B60W 2040/0827(2013.01) B60W 2040/0872(2013.01) A61B 2503/22(2013.01)
출원번호/일자 1020210002145 (2021.01.07)
출원인 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2022-0099816 (2022.07.14) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.01.07)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 변혜란 서울특별시 서대문구
2 황선희 서울특별시 서대문구
3 박성호 서울특별시 서대문구
4 이필현 서울특별시 서대문구
5 이제욱 서울특별시 서대문구
6 김도형 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.01.07 수리 (Accepted) 1-1-2021-0022108-55
2 선행기술조사의뢰서
Request for Prior Art Search
2022.03.15 수리 (Accepted) 9-1-9999-9999999-89
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
학습 대상들의 뇌파로부터 추출된 제1 뇌파 특징들과 추출된 상기 제1 뇌파 특징들에 대응되는 사용자 레이블들을 이용하여, 사용자 특징 추출기를 포함하는 사용자 분류 모델을 학습하는 사용자 분류 모델 학습부;상기 제1 뇌파 특징들, 상기 사용자 레이블들 및 상기 제1 뇌파 특징들에 대응되는 졸음 상태 레이블들을 이용하여, 특징 추출기, 레이블 예측기 및 사용자 예측기를 포함하는 운전자 졸음 상태 분류 모델을 학습하고, 상기 제1 뇌파 특징들로부터 상기 사용자 특징 추출기를 통해 획득된 사용자 특징들을 이용하여 서로 다른 사용자 특징 간의 거리를 최소화하도록 상기 특징 추출기를 학습하며, GRL(Gradient Reversal Layer)을 이용하여 상기 사용자 예측기를 사용자 적대적 학습(Subject Adversarial Training, SAT)하는 졸음 상태 분류 모델 학습부; 및감지 대상의 뇌파로부터 추출된 제2 뇌파 특징들을 상기 운전자 졸음 상태 분류 모델에 입력하고, 상기 운전자 졸음 상태 분류 모델로부터 상기 감지 대상에 대한 졸음 상태 분류 결과를 획득하는 졸음 상태 감지부;를 포함하는 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
2 2
제1항에서,상기 졸음 상태 분류 모델 학습부는,상기 제1 뇌파 특징들로부터 상기 사용자 특징 추출기를 통해 획득된 사용자 특징들을 이용하여, 동일한 클래스의 서로 다른 사용자 그룹 간의 와서스테인(Wasserstein) 거리를 최소화하도록 상기 특징 추출기를 학습하며,상기 클래스는,깨어 있음(awake) 클래스, 피곤함(tired) 클래스 및 졸음(drowsy) 클래스 중 하나인,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
3 3
제2항에서,상기 졸음 상태 분류 모델 학습부는,동일한 클래스에 속하는 샘플들에 대해 상기 사용자 특징 추출기를 통해 상기 제1 뇌파 특징들로부터 상기 사용자 특징들을 획득하고, 상기 사용자 특징들을 k-means 클러스터링을 통해 클러스터링하며, 복수개의 클러스터 중에서 랜덤하게 선택된 서로 다른 2개의 클러스터의 상기 사용자 특징들을 상기 특징 추출기에 입력하고, 상기 특징 추출기의 출력인 특징들의 와서스테인 거리를 최소화하는 과정을, 클래스별로 수행하여 서로 다른 사용자 특징 간의 거리를 최소화하도록 상기 특징 추출기를 학습하는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
4 4
제3항에서,상기 와서스테인 거리를 최소화하기 위한 손실 함수(loss function)는,이며,상기 Wa는, 상기 깨어 있음 클래스의 샘플들 사이의 와서스테인 거리를 나타내고,상기 Wt는, 상기 피곤함 클래스의 샘플들 사이의 와서스테인 거리를 나타내며,상기 Wd는, 상기 졸음 클래스의 샘플들 사이의 와서스테인 거리를 나타내고,상기 와서스테인 거리는,이며,상기 H는, 상기 특징 추출기의 출력인 특징들을 나타내고,상기 Hg는, 상기 복수개의 클러스터 중에서 랜덤하게 선택된 클러스터의 사용자 특징들을 입력으로 하여 상기 특징 추출기로부터 출력된 특징들을 나타내며,상기 는, 주변값들 와 를 가지는 모든 결합 분포들(joint distributions) 의 집합을 나타내는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
5 5
제1항에서,상기 사용자 적대적 학습(SAT)을 위한 손실 함수(loss function)는,이며,상기 x는, 상기 제1 뇌파 특징을 나타내고,상기 s는, 상기 사용자 레이블을 나타내며,상기 Mf는, 상기 특징 추출기를 나타내고,상기 θf는, 상기 특징 추출기의 학습 파라미터들을 나타내며,상기 Ms'는, 상기 사용자 예측기를 나타내고,상기 θs'는, 상기 사용자 예측기의 파라미터들을 나타내며,상기 L은, 상기 사용자 예측기의 손실 함수를 나타내는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
6 6
제1항에서,상기 운전자 졸음 상태 분류 모델의 손실 함수(loss function)는,이며,상기 y는, 상기 졸음 상태 레이블을 나타내고,상기 ^y는, 상기 운전자 졸음 상태 분류 모델의 출력인 예측 졸음 상태 레이블을 나타내며,상기 n은, 상기 졸음 상태 레이블의 개수를 나타내는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
7 7
제1항에서,상기 사용자 분류 모델은,뇌파 특징들을 입력으로 하고, 사용자 레이블들을 출력으로 하며,상기 사용자 분류 모델의 손실 함수(loss function)는,이고,상기 s는, 상기 사용자 레이블을 나타내며,상기 ^s는, 상기 사용자 분류 모델의 출력인 예측 사용자 레이블을 나타내고,상기 n은, 상기 사용자 레이블의 개수를 나타내는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
8 8
제1항에서,상기 학습 대상들의 뇌파에서 밴드 패스 필터(Band Pass Filter)를 통해 아티팩트(Artifact)를 제거하고, 아티팩트가 제거된 뇌파로부터 미분 엔트로피(Differential Entropy, DE) 특징에 대해 미리 설정된 크기 간격으로 특징을 추출하여 상기 제1 뇌파 특징들을 획득하며, 선형 동적 시스템(Linear Dynamic System)을 이용하여 상기 제1 뇌파 특징들을 스무딩(Smoothing)하고, 상기 제1 뇌파 특징들에 대응되는 상기 사용자 레이블들을 획득하는 데이터 전처리부;를 더 포함하는 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
9 9
제8항에서,상기 데이터 전처리부는,미분 엔트로피(DE) 특징의 계산식을 통해 상기 제1 뇌파 특징들을 획득하며,상기 계산식은,이고,상기 f는, 가우시안 분포(Gaussian distribution)를 따르는 랜덤 변수들의 확률 밀도 함수(probability density function)를 나타내는,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 장치
10 10
학습 대상들의 뇌파로부터 추출된 제1 뇌파 특징들과 추출된 상기 제1 뇌파 특징들에 대응되는 사용자 레이블들을 이용하여, 사용자 특징 추출기를 포함하는 사용자 분류 모델을 학습하는 단계;상기 제1 뇌파 특징들, 상기 사용자 레이블들 및 상기 제1 뇌파 특징들에 대응되는 졸음 상태 레이블들을 이용하여, 특징 추출기, 레이블 예측기 및 사용자 예측기를 포함하는 운전자 졸음 상태 분류 모델을 학습하고, 상기 제1 뇌파 특징들로부터 상기 사용자 특징 추출기를 통해 획득된 사용자 특징들을 이용하여 서로 다른 사용자 특징 간의 거리를 최소화하도록 상기 특징 추출기를 학습하며, GRL(Gradient Reversal Layer)을 이용하여 상기 사용자 예측기를 사용자 적대적 학습(Subject Adversarial Training, SAT)하는 단계; 및감지 대상의 뇌파로부터 추출된 제2 뇌파 특징들을 상기 운전자 졸음 상태 분류 모델에 입력하고, 상기 운전자 졸음 상태 분류 모델로부터 상기 감지 대상에 대한 졸음 상태 분류 결과를 획득하는 단계;를 포함하는 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 방법
11 11
제10항에서,상기 운전자 졸음 상태 분류 모델을 학습하고, 상기 특징 추출기를 학습하며, 상기 사용자 적대적 학습하는 단계는,상기 제1 뇌파 특징들로부터 상기 사용자 특징 추출기를 통해 획득된 사용자 특징들을 이용하여, 동일한 클래스의 서로 다른 사용자 그룹 간의 와서스테인(Wasserstein) 거리를 최소화하도록 상기 특징 추출기를 학습하는 것으로 이루어지며,상기 클래스는,깨어 있음(awake) 클래스, 피곤함(tired) 클래스 및 졸음(drowsy) 클래스 중 하나인,운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 방법
12 12
제10항에서,상기 학습 대상들의 뇌파에서 밴드 패스 필터(Band Pass Filter)를 통해 아티팩트(Artifact)를 제거하고, 아티팩트가 제거된 뇌파로부터 미분 엔트로피(Differential Entropy, DE) 특징에 대해 미리 설정된 크기 간격으로 특징을 추출하여 상기 제1 뇌파 특징들을 획득하며, 선형 동적 시스템(Linear Dynamic System)을 이용하여 상기 제1 뇌파 특징들을 스무딩(Smoothing)하고, 상기 제1 뇌파 특징들에 대응되는 상기 사용자 레이블들을 획득하는 단계;를 더 포함하는 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 방법
13 13
제10항 내지 제12항 중 어느 한 항에 기재된 운전자 뇌파 기반 사용자 독립적인 졸음 상태 감지 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 고려대학교산학협력단 정보통신방송연구개발사업 (BCI-2세부) 딥러닝을 이용하여 사람의 의도를 인지하는 BCI 기반 뇌인지컴퓨팅 기술 개발(1단계)(4/4)