맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

딥 레지듀얼 러닝 기반 눈 개폐 분류 장치 및 방법

  • 기술번호 : KST2019031900
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 눈의 개폐 여부를 판단하는 기술에 관한 것으로서, 구체적으로는 눈 영상을 딥 레지듀얼 러닝(Deep Residual Learning) 기술을 기반으로 뜬 눈인 또는 감은 눈으로 분류하는 장치 및 방법에 관한 것이다. 본 발명의 실시 예에 따르면, 다양한 눈 영상들을 학습한 딥 레지듀얼 러닝 기반 회선 신경망 모델을 이용하여 입력된 눈 영상의 개폐 여부를 정확하게 분류할 수 있다.
Int. CL G06K 9/00 (2006.01.01) G06T 5/50 (2006.01.01) G06N 3/08 (2006.01.01)
CPC G06K 9/00617(2013.01) G06K 9/00617(2013.01) G06K 9/00617(2013.01) G06K 9/00617(2013.01) G06K 9/00617(2013.01) G06K 9/00617(2013.01) G06K 9/00617(2013.01)
출원번호/일자 1020170083250 (2017.06.30)
출원인 동국대학교 산학협력단
등록번호/일자 10-1903437-0000 (2018.09.21)
공개번호/일자
공고번호/일자 (20181004) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.06.30)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박강령 대한민국 서울특별시 강남구
2 김기완 대한민국 서울특별시 종로구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인이지 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동, KCC웰츠밸리) ***-***

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 서울특별시 중구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2017.06.30 수리 (Accepted) 1-1-2017-0629363-78
2 선행기술조사의뢰서
Request for Prior Art Search		 2018.01.15 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2018.03.09 수리 (Accepted) 9-1-2018-0008828-41
4 의견제출통지서
Notification of reason for refusal		 2018.03.21 발송처리완료 (Completion of Transmission) 9-5-2018-0198524-15
5 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.05.15 수리 (Accepted) 1-1-2018-0478010-14
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.05.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0478030-16
7 등록결정서
Decision to grant		 2018.09.19 발송처리완료 (Completion of Transmission) 9-5-2018-0645343-11
8 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
삭제
2 2
삭제
3 3
눈 개폐 분류 장치에 있어서,카메라를 이용하여 촬영한 컬러 눈 영상을 입력받는 눈 영상 입력부;입력된 눈 영상의 크기를 전처리하고, 전처리된 눈 영상을 평균 차감(Mean Subtraction) 기법을 이용하여 정규화하는 눈 영상 정규화부 및정규화된 눈 영상을 기 학습한 딥 레지듀얼 러닝 기반 회선 신경망 모델을 이용하여 뜬 눈 또는 감은 눈으로 분류하는 눈 영상 분류부를 포함하되, 상기 눈 영상 분류부는정규화된 눈 영상을 입력받는 이미지 입력 레이어;입력된 눈 영상에 기 학습된 딥 레지듀얼 러닝 기반 회선 신경망 모델을 적용하여 눈 개폐 특징을 추출하는 특징 추출 레이어 및상기 특징 추출 레이어에서 추출한 눈 개폐 특징 의해 입력된 눈 영상을 뜬 눈 또는 감은 눈으로 분류하는 분류 레이어를 포함하는 것을 특징으로 하는 눈 개폐 분류 장치
4 4
제3항에 있어서,상기 특징 추출 레이어는 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹, 맥스 풀링(Max pooling) 레이어, 에버리지 풀(Average pool) 레이어, 풀 커넥티드(Full Connected) 레이어 및 소프트맥스(Softmax) 레이어를 포함하되,상기 콘볼루션 레이어 그룹은 적어도 하나의 숏컷(Shortcut) 레이어 또는 병목(Bottleneck) 레이어를 포함하는 눈 개폐 분류 장치
5 5
제4항에 있어서,상기 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹은224×224×3 픽셀 크기의 이미지에서 7×7×3 크기의 필터 64개를 2픽셀 간격으로 3패딩(padding)씩 상하좌우 방향으로 이동하여 112×112×64 크기의 눈 개폐 특징맵을 추출하는 제1 콘볼루션 레이어 그룹을 포함하되, 상기 제1 콘볼루션 레이어 그룹은 상기 눈 개폐 특징맵에서 3×3 크기의 필터를 2픽셀 간격으로 이동하여 필터가 적용되는 영역 중에서 가장 큰 픽셀 값을 추출하여, 56×56×64 픽셀 크기로 다운 샘플링 된 눈 개폐 특징맵을 출력하는 맥스 풀 레이어를 더 포함하는눈 개폐 분류 장치
6 6
제4항에 있어서,상기 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹은맥스 풀 레이어를 통해 출력된 56×56×64 픽셀 크기의 눈 개폐 특징맵에서 1×1×64 크기의 필터 64개를 1픽셀 간격으로 이동하여 56×56×64 크기의 눈 개폐 특징맵을 추출하는 1차 콘볼루션을 수행하는 제1 콘볼루션 레이어;상기 제1 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 3×3×64 크기의 필터 64개를 1픽셀 간격으로 3패딩(padding)씩 상하좌우 방향으로 이동하여 56×56×64크기의 눈 개폐 특징맵을 추출하는 2차 콘볼루션을 수행하는 제2 콘볼루션 레이어;상기 제2 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 1×1×64 크기의 필터 256개를 1픽셀 간격으로 이동하여 56×56×256 픽셀 크기의 눈 개폐 특징맵을 출력하는 3차 콘볼루션을 수행하는 제3 콘볼루션 레이어; 및상기 1 내지 3차 콘볼루션과는 별도로 상기 맥스 풀 레이어를 통해 출력된 56×56×64 픽셀 크기의 눈 개폐 특징맵에서 1×1×64 크기의 필터 256개를 1픽셀 간격으로 이동하여 56×56×256 픽셀 크기의 눈 개폐 특징맵을 추출하는 4차 콘볼루션을 수행하는 제4 콘볼루션 레이어(숏컷 레이어)로 구성된 제2 콘볼루션 레이어 그룹을 포함하는 것을 특징으로 하는 눈 개폐 분류 장치
7 7
제6항에 있어서,상기 3차 콘볼루션을 통해 출력된 눈 개폐 특징맵과 상기 4차 콘볼루션을 통해 출력된 눈 개폐 특징맵의 요소별(element-wise)정보를 결합하고, 상기 제2 콘볼루션 레이어 그룹에 포함된 콘볼루션 과정을 3회 반복한 결과값을 제3 콘볼루션 레이어 그룹의 1차 콘볼루션 수행을 위한 입력으로 활용하는 눈 개폐 분류 장치
8 8
제4항에 있어서,상기 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹은상기 5개의 콘볼루션 레이어 그룹 중 제2 콘볼루션 레이어 그룹을 통해 출력된 56×56×256 픽셀 크기의 눈 개폐 특징맵에서 1×1×256 크기의 필터 128개를 2(또는 1)픽셀 간격으로 이동하여 28×28×128픽셀 크기의 눈 개폐 특징맵을 출력하는 1차 콘볼루션을 수행하는 제1 콘볼루션 레이어;상기 제1 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 3×3×128 크기의 필터128개를 1픽셀 간격으로 1패딩(padding)씩 상하좌우 방향으로 이동하여 28×28×128픽셀 크기의 눈 개폐 특징맵을 출력하는 2차 콘볼루션을 수행하는 제2 콘볼루션 레이어(병목 레이어);상기 제2 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 1×1×128 크기의 필터 512개를 1픽셀 간격으로 이동하여 28×28×512 픽셀 크기의 눈 개폐 특징맵을 출력하는 3차 콘볼루션을 수행하는 제3 콘볼루션 레이어 및상기 1 내지 3차 콘볼루션과는 별도로 상기 제2 콘볼루션 레이어 그룹에서 출력된 56×56×256 픽셀 크기의 눈 개폐 특징맵에서 1×1×256 크기의 필터 512개를 2픽셀 간격으로 이동하여 28×28×512 픽셀 크기의 눈 개폐 특징맵을 출력하는 4차 콘볼루션을 수행하는 제4 콘볼루션 레이어(숏컷 레이어)로 구성된 제3 콘볼루션 레이어 그룹을 포함하는 것을 특징으로 하는 눈 개폐 분류 장치
9 9
제8항에 있어서,상기 3차 콘볼루션을 통해 출력된 눈 개폐 특징맵과 상기 4차 콘볼루션을 통해 출력된 눈 개폐 특징맵의 요소별(element-wise)정보를 결합하고, 상기 제3 콘볼루션 레이어 그룹에 포함된 콘볼루션 과정을 4회 반복한 결과값을 제4 콘볼루션 레이어 그룹의 1차 콘볼루션 수행을 위한 입력으로 활용하는 것을 특징으로 하는 눈 개폐 분류 장치
10 10
제4항에 있어서,상기 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹은상기 5개의 콘볼루션 레이어 그룹 중 제3 콘볼루션 레이어 그룹을 통해 출력된 28×28×512 픽셀 크기의 눈 개폐 특징맵에서 1×1×256 크기의 필터 256개를 2(또는 1) 픽셀 간격으로 이동하여 14×14×256 픽셀 크기의 눈 개폐 특징맵을 출력하는 1차 콘볼루션을 수행하는 제1 콘볼루션 레이어;상기 제1 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 3×3×256 크기의 필터 256개를 1픽셀 간격으로 1패딩(padding)씩 상하좌우 방향으로 이동하여 14×14×256 픽셀 크기의 눈 개폐 특징맵을 출력하는 2차 콘볼루션을 수행하는 제2 콘볼루션 레이어;상기 제2 콘볼루션 레이어에서 출력된 눈 개폐 특징맵에 1×1×256 크기의 필터 1024개를 1픽셀 간격으로 이동하여 14×14×1024 픽셀 크기의 눈 개폐 특징맵을 출력하는 3차 콘볼루션을 수행하는 제3 콘볼루션 레이어 및 상기 1 내지 3차 콘볼루션과는 별도로 상기 제3 콘볼루션 레이어 그룹을 통해 출력된 28×28×512 픽셀 크기의 눈 개폐 특징맵에서 1×1×512 크기의 필터 1024개를 2픽셀 간격으로 이동하여 14×14×1024 픽셀 크기의 눈 개폐 특징맵을 출력하는 4차 콘볼루션을 수행하는 제4 콘볼루션 레이어로 구성된 제4 콘볼루션 레이어 그룹을 포함하는 것을 특징으로 하는 눈 개폐 분류 장치
11 11
제10항에 있어서,상기 3차 콘볼루션을 통해 출력된 눈 개폐 특징맵과 상기 4차 콘볼루션을 통해 출력된 눈 개폐 특징맵의 요소별(element-wise)정보를 결합하고, 상기 제4 콘볼루션 레이어 그룹에 포함된 콘볼루션 과정을 6회 반복한 결과값을 제5 콘볼루션 레이어 그룹의 1차 콘볼루션 수행을 위한 입력으로 활용하는 것을 특징으로 하는 눈 개폐 분류 장치
12 12
제4항에 있어서, 상기 적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹은,상기 5개의 콘볼루션 레이어 그룹 중 제4 콘볼루션 레이어 그룹을 통해 출력된 14×14×1024 픽셀 크기의 눈 개폐 특징맵에서 1×1×1024 크기의 필터 512개를 2(또는 1)픽셀 간격으로 이동하여 1차 콘볼루션을 수행하는 제1 콘볼루션 레이어; 3×3×512 크기의 필터 512개를 1픽셀 간격으로 1패딩(padding)씩 상하좌우 방향으로 이동하여 2차 콘볼루션을 수행하는 제2 콘볼루션 레이어(병목 레이어);1×1×512 크기의 필터 2048개를 1픽셀 간격으로 이동하여 7×7×2048 픽셀 크기의 눈 개폐 특징맵을 출력하는 3차 콘볼루션을 수행하는 제3 콘볼루션 레이어 및상기 1 내지 3차 콘볼루션과는 별도로 상기 제4 콘볼루션 레이어 그룹을 통해 출력된 14×14×1024 픽셀 크기의 눈 개폐 특징맵에서 1×1×1024 크기의 필터 2048개를 2픽셀 간격으로 이동하여 콘볼루션을 수행하는 4차 콘볼루션을 수행하는 제4 콘볼루션 레이어(숏컷 레이어)로 구성된 제5 콘볼루션 레이어 그룹을 포함하는 것을 특징으로 하는 눈 개폐 분류 장치
13 13
제12항에 있어서,상기 3차 콘볼루션을 통해 출력된 눈 개폐 특징맵과 상기 4차 콘볼루션을 통해 출력된 눈 개폐 특징맵의 요소별(element-wise)정보를 결합하고, 상기 제5 콘볼루션 레이어 그룹에 포함된 콘볼루션 과정을 3회 반복한 결과값을 에버리지 풀 레이어의 입력으로 활용하는 것을 특징으로 하는 눈 개폐 분류 장치
14 14
제7항, 제9항, 제11항 또는 제13항 중 어느 한항에 있어서,상기 눈 개폐 분류 장치는 각각의 콘볼루션 그룹에서 상기 제4 콘볼루션 레이어를 통해 출력된 정보가 분류 성능을 저하시키지 않는다고 판단 될 경우에, 상기 제3 콘볼루션 레이어를 통해 출력된 정보에 대한 가중치는 고려하지 않고, 상기 3차 콘볼루션을 통해 출력된 눈 개폐 특징맵과 상기 4차 콘볼루션을 통해 출력된 눈 개폐 특징맵의 요소별 정보를 결합하여 회선 신경망 모델을 학습하는 것을 특징으로 하는 눈 개폐 분류 장치
15 15
제3항에 있어서,상기 특징 추출 레이어는완전 연결 레이어에 일괄 정규화(Batch Normalization) 레이어 또는 교정 선형 유닛(Rectified Linear Unit)를 더 포함하는 눈 개폐 분류 장치
16 16
제4항에 있어서,상기 에버리지 풀 레이어는 제5 콘볼루션 레이어 그룹을 통해 출력된 눈 개폐 특징맵에서 7×7 크기의 필터 1개를 1픽셀씩 이동하면서 평균값을 추출하여 1×1×2048 픽셀 크기의 눈 개폐 특징맵을 출력하고,상기 풀 커넥티드 레이어는 상기 에버리지 풀 레이어와 연결되어 2048 및 2 노드들을 입력 및 출력으로 각각 가지며, 2048×2만큼의 가중치들(weights)을 이용하여 눈 개폐 특징맵을 축소하고,상기 소프트맥스(Softmax) 레이어는 상기 풀 커넥티드 레이어를 통해 출력된 눈 개폐 특징맵이 뜬 눈일 확률과 감은 눈일 확률을 산출하는눈 개폐 분류 장치
17 17
삭제
18 18
눈 개폐 분류 방법에 있어서, 카메라를 이용하여 촬영한 컬러 눈 영상을 입력받는 단계;입력된 컬러 눈 영상의 크기를 전처리하고, 전처리된 눈 영상을 평균 차감(Mean Subtraction) 기법을 이용하여 정규화하는 단계;기 학습한 딥 레지듀얼 러닝 기반 회선 신경망 모델을 이용하여 전처리한 영상의 눈 개폐 특징 정보를 추출하는 단계;상기 눈 개폐 특징 정보가 뜬 눈일 확률과 감은 눈일 확률을 산출하는 단계 및상기 뜬 눈일 확률과 상기 감은 눈일 확률의 차이를 설정한 임계값과 비교하여 뜬 눈 또는 감은 눈으로 분류하는 단계를 포함하되, 상기 딥 레지듀얼 러닝 기반 회선 신경망 모델은적어도 하나의 콘볼루션 레이어(Convolution Layer)를 포함하는 5개의 콘볼루션 레이어 그룹, 맥스 풀링(Max pooling) 레이어, 에버리지 풀(Average pool) 레이어, 풀 커넥티드(Full Connected) 레이어, 소프트맥스(Softmax) 레이어를 포함하되,상기 콘볼루션 레이어 그룹은 적어도 하나의 숏컷(Shortcut) 레이어 또는 병목(Bottleneck) 레이어를 포함하는 것을 특징으로 하는 눈 개폐 분류 방법
19 19
제18항의 눈 개폐 분류 방법을 실행하고 컴퓨터가 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 동국대학교 산학협력단 이공학개인기초연구지원사업(기본) 시선 위치, 눈 반응, 감정 및 행태 분석 기반 운전자 감성 인지 자동차 기술 개발[2/3]
2 미래창조과학부 동국대학교 산학협력단 대학ICT연구센터육성지원사업 (ITRC) 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발[5/6]