맞춤기술찾기

이전대상기술

시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법

  • 기술번호 : KST2014060755
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 디스플레이 장치가 개시된다. 본 디스플레이 장치는 디스플레이 화면을 제공하는 디스플레이부, 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부, 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부, 적외선 카메라로 촬상된 적외선 안구 이미지 정보가 저장된 저장부, 검출부에서 검출된 안구 영역에 대한 정보와 적외선 안구 이미지 정보를 이용하여, 안구 영역 내의 동공 위치를 추측하여 사용자의 시선을 판단하는 판단부 및 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부를 포함한다. 이에 따라, 디스플레이 화면상의 사용자 시선을 판단하고, 사용자 시선에 따라 디스플레이 장치를 제어할 수 있다.
Int. CL G06T 7/20 (2006.01) G06F 3/01 (2006.01)
CPC G06F 3/013(2013.01) G06F 3/013(2013.01) G06F 3/013(2013.01) G06F 3/013(2013.01)
출원번호/일자 1020110107423 (2011.10.20)
출원인 경북대학교 산학협력단
등록번호/일자 10-1288447-0000 (2013.07.16)
공개번호/일자 10-2013-0043366 (2013.04.30) 문서열기
공고번호/일자 (20130726) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2011.10.20)
심사청구항수 24

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대한민국 대구광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이민호 대한민국 대구광역시 수성구
2 장영민 대한민국 경상북도 포항시 남구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이현수 대한민국 서울특별시 마포구 백범로 ***(신공덕동) 메트로디오빌빌딩 ****호(이현수상표특허법률사무소)
2 정홍식 대한민국 서울시 서초구 강남대로 *** 신덕빌딩 *층(나우특허법률사무소)
3 김태헌 대한민국 서울시 서초구 강남대로 *** 신덕빌딩 *층(나우특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대구광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2011.10.20 수리 (Accepted) 1-1-2011-0821078-02
2 선행기술조사의뢰서
Request for Prior Art Search
2012.08.17 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2012.09.19 수리 (Accepted) 9-1-2012-0072334-15
4 의견제출통지서
Notification of reason for refusal
2013.01.30 발송처리완료 (Completion of Transmission) 9-5-2013-0069286-78
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2013.04.01 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2013-0283556-18
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2013.04.01 수리 (Accepted) 1-1-2013-0283575-86
7 등록결정서
Decision to grant
2013.04.30 발송처리완료 (Completion of Transmission) 9-5-2013-0296811-18
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.03.26 수리 (Accepted) 4-1-2018-5051994-32
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.23 수리 (Accepted) 4-1-2020-5136893-04
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
디스플레이 장치에 있어서,디스플레이 화면을 제공하는 디스플레이부;상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 촬상부;상기 촬상부에 의해 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;학습 데이터로 사용될 적외선 안구 이미지 정보가 저장된 저장부;상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부; 및상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 제어부;를 포함하는 디스플레이 장치
2 2
제1항에 있어서,상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,상기 검출부는,상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 디스플레이 장치
3 3
제2항에 있어서,상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,상기 판단부는,상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 디스플레이 장치
4 4
제3항에 있어서,상기 시선 판단부는,아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 장치:여기서, 및 는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고, 및 는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이며, 내지 및 내지 는 캘리브레이션 매트릭스의 미정 계수이다
5 5
제4항에 있어서,상기 제어부는,상기 디스플레이 화면상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 장치
6 6
제3항에 있어서,상기 저장부는,사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,상기 시선 판단부는,상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 장치
7 7
제6항에 있어서,상기 저장부는,복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,상기 제어부는,상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,상기 시선 판단부는,상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 장치
8 8
시선 추적 장치에 있어서,촬상된 사용자 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 검출부;학습 데이터로 사용될 적외선 안구 이미지 정보가 저장된 저장부; 및상기 검출부에서 검출된 안구 영역에 대한 정보와 상기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 판단부;를 포함하는 시선 추적 장치
9 9
제8항에 있어서,상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,상기 검출부는,상기 촬상된 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 안구 영역을 검출하며, 검출된 안구 영역에서 홍채 영역을 검출하여, 검출된 홍채 영역의 중심 좌표를 검출하는 것을 특징으로 하는 시선 추적 장치
10 10
제9항에 있어서,상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,상기 판단부는,상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 동공 추측부; 및상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 시선 판단부;를 포함하는 것을 특징으로 하는 시선 추적 장치
11 11
제10항에 있어서,상기 저장부는,사용자의 안구 영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 더 저장하며,상기 시선 판단부는,상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면 상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 장치
12 12
제11항에 있어서,상기 저장부는,복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 더 저장하며,상기 시선 판단부는,상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 동공 추측부에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 장치
13 13
디스플레이 방법에 있어서,디스플레이 화면을 제공하는 단계;상기 디스플레이 화면을 시청하는 사용자의 이미지를 촬상하는 단계;상기 촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계;상기 검출된 안구 영역에 대한 정보와 학습 데이터로 사용될 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계; 및상기 사용자의 시선에 따라 상기 디스플레이 장치의 동작을 제어하는 단계;를 포함하는 디스플레이 방법
14 14
제13항에 있어서,상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,상기 검출하는 단계는,상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;검출된 얼굴 영역에서 안구 영역을 검출하는 단계;검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법
15 15
제14항에 있어서,상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,상기 판단하는 단계는,상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계; 및상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 방법
16 16
제15항에 있어서,상기 시선을 판단하는 단계는,아래의 수식을 사용하여 상기 디스플레이 화면상의 사용자의 시선을 판단하는 것을 특징으로 하는 디스플레이 방법:여기서, 및 는 디스플레이 화면상의 사용자 시선의 x축 및 y축 좌표이고, 및 는 상기 사용자의 동공 중심 좌표 중 x축 및 y축 좌표이며, 내지 및 내지 는 캘리브레이션 매트릭스의 미정 계수이다
17 17
제16항에 있어서,상기 제어하는 단계는,상기 디스플레이 화면 상에 표시된 어플리케이션 아이콘에 상기 사용자의 시선이 위치하면, 상기 어플리케이션 아이콘에 대응되는 어플리케이션을 실행하여 어플리케이션 UI를 디스플레이하는 것을 특징으로 하는 디스플레이 방법
18 18
제15항에 있어서,사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,상기 동공 중심 좌표를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 디스플레이 방법
19 19
제18항에 있어서,복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,상기 제어하는 단계는,상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고,상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 디스플레이 방법
20 20
시선 추적 방법에 있어서,촬상된 이미지로부터 사용자의 안구 영역에 대한 정보를 검출하는 단계; 및상기 검출된 안구 영역에 대한 정보와 학습 데이터로 사용될 기 저장된 적외선 안구 이미지 정보를 이용하여, 상기 안구 영역 내의 동공 위치를 추측하여 상기 사용자의 시선을 판단하는 단계;를 포함하는 시선 추적 방법
21 21
제20항에 있어서,상기 안구 영역에 대한 정보는 홍채 중심 좌표인 것을 특징으로 하고,상기 검출하는 단계는,상기 촬상된 이미지에서 얼굴 영역을 검출하는 단계;검출된 얼굴 영역에서 안구 영역을 검출하는 단계;검출된 안구 영역에서 홍채 영역을 검출하는 단계; 및검출된 홍채 영역의 홍채 중심 좌표를 검출하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법
22 22
제21항에 있어서,상기 적외선 안구 이미지 정보는 적외선 안구 이미지 내에 포함된 동공의 중심 좌표인 것을 특징으로 하고,상기 판단하는 단계는,상기 동공의 중심 좌표를 학습 데이터로 사용하는 MLP 알고리즘이 적용된 뉴럴 네트워크를 사용하여, 상기 검출된 홍채 중심 좌표로부터 상기 사용자의 동공 중심 좌표를 추측하는 단계; 및상기 추측된 동공 중심 좌표를 이용하여 디스플레이 화면상의 사용자의 시선을 판단하는 단계;를 포함하는 것을 특징으로 하는 시선 추적 방법
23 23
제22항에 있어서,사용자의 안구영역으로부터 도출된 동공 중심 좌표 및 상기 동공 중심 좌표에 대응되는 사용자 시선 좌표를 저장하는 단계를 더 포함하고,상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,상기 동공 중심 좌표를 추측하는 단계에서 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표와 비교하여 일치하는 경우, 상기 저장된 동공 중심 좌표에 대응되는 디스플레이 화면상의 사용자 시선을 상기 사용자의 시선으로 판단하는 것을 특징으로 하는 시선 추적 방법
24 24
제23항에 있어서,복수의 사용자 각각에 대한 얼굴 영역의 특징 정보를 저장하는 단계를 더 포함하고,상기 디스플레이 화면상의 사용자의 시선을 판단하는 단계는,상기 저장된 얼굴 영역의 특징 정보를 이용하여 상기 촬상된 이미지에 대응되는 사용자를 식별하고, 상기 추측된 동공 중심 좌표를 상기 저장된 동공 중심 좌표 중 상기 식별된 사용자에 대응되는 동공 중심 좌표와 비교하는 것을 특징으로 하는 시선 추적 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 한국과학재단 경북대학교 원천기술개발 사업- 뇌 과학 원천기술개발 사업 뇌기능정보 이해 기반 사용자 시선특성 분석 및 선택적 주의집중 모델을 통한 의도파악
2 한국과학재단 경북대학교 원천기술개발 사업- 미래기반기술개발사업 다중감각추론 일반 모델 및 인지 향상 기술 개발