맞춤기술찾기

이전대상기술

시선 추적 장치 및 방법

  • 기술번호 : KST2015093639
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 둘 이상의 광각 카메라를 이용하여 사용자의 3차원 위치를 계산하고, 협각 카메라를 이용하여 상기 사용자의 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하며, 협각 카메라의 동작을 통하여 획득한 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출한 후, 최종적으로 동공 중심 정보 및 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 추적 장치 및 방법을 제공한다.
Int. CL G06K 9/46 (2006.01) G06T 7/20 (2006.01)
CPC G06T 7/215(2013.01) G06T 7/215(2013.01) G06T 7/215(2013.01) G06T 7/215(2013.01)
출원번호/일자 1020130094997 (2013.08.09)
출원인 한국전자통신연구원, 한양대학교 산학협력단
등록번호/일자
공개번호/일자 10-2014-0045873 (2014.04.17) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020120111702   |   2012.10.09
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.09.30)
심사청구항수 36

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구
2 한양대학교 산학협력단 대한민국 서울특별시 성동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이희경 대한민국 대전 서구
2 이인재 대한민국 대전 유성구
3 차지훈 대한민국 대전 유성구
4 김회율 대한민국 서울특별시 성동구
5 조동찬 대한민국 서울특별시 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 무한 대한민국 서울특별시 강남구 언주로 ***, *층(역삼동,화물재단빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구
2 한양대학교 산학협력단 대한민국 서울특별시 성동구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2013.08.09 수리 (Accepted) 1-1-2013-0725341-55
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.06.05 수리 (Accepted) 4-1-2014-5068294-39
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2015.02.16 수리 (Accepted) 4-1-2015-5022074-70
5 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2015.09.30 수리 (Accepted) 1-1-2015-0945367-15
6 의견제출통지서
Notification of reason for refusal
2016.06.30 발송처리완료 (Completion of Transmission) 9-5-2016-0474535-45
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2016.07.18 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2016-0693300-13
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2016.07.18 수리 (Accepted) 1-1-2016-0693301-58
9 의견제출통지서
Notification of reason for refusal
2017.01.24 발송처리완료 (Completion of Transmission) 9-5-2017-0062991-89
10 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.03.24 수리 (Accepted) 1-1-2017-0291298-14
11 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.03.24 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0291299-60
12 등록결정서
Decision to grant
2017.07.19 발송처리완료 (Completion of Transmission) 9-5-2017-0503304-10
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.05 수리 (Accepted) 4-1-2019-5155816-75
14 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.06 수리 (Accepted) 4-1-2019-5156285-09
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 캘리브레이션 수행부;상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 영상 정보 입력부;상기 영상 정보에 대하여 눈 위치 정보를 검출하는 제1 정보 검출부;상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 영상 획득부;상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 제2 정보 검출부;상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 제3 정보 검출부; 및상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부를 포함하고, 상기 시선 위치 계산부는,상기 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 상기 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정한 후, 상기 보정된 사용자 위치 정보를 이용하여 상기 시선 위치 정보를 계산하는 시선 추적 장치
2 2
제1항에 있어서,상기 캘리브레이션 수행부는,상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행하고, 상기 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하며, 상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 시선 추적 장치
3 3
제1항에 있어서,상기 제1 정보 검출부는,상기 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출하는 시선 추적 장치
4 4
삭제
5 5
영상 정보를 입력 받고, 캘리브레이션을 통해 사용자에 대한 사용자 위치 정보를 계산하는 둘 이상의 광각 카메라;상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 협각 카메라;상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 영상 획득부;상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 검출부; 및상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 시선 위치 계산부를 포함하고, 상기 영상 획득부는,상기 입력된 영상 정보의 해상도를 조정하는 해상도 조정부;상기 조정된 영상 정보의 반사광을 제거하는 반사광 제거부; 및상기 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출하는 동공 후보 영역 검출부를 포함하는 시선 추적 장치
6 6
제5항에 있어서,상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration) 을 수행하는 캘리브레이션 수행부를 더 포함하는 시선 추적 장치
7 7
제6항에 있어서,상기 캘리브레이션 수행부는,스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정하는 시선 추적 장치
8 8
제6항에 있어서,상기 캘리브레이션 수행부는,상기 둘 이상의 광각 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 시선 추적 장치
9 9
제6항에 있어서,상기 캘리브레이션 수행부는,상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 시선 추적 장치
10 10
제9항에 있어서,상기 캘리브레이션 수행부는,상기 협각 카메라가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 상기 영상 재생 장치의 실제 위치와의 차이를 추정하는 시선 추적 장치
11 11
삭제
12 12
제5항에 있어서,상기 동공 후보 영역 검출부는,하기 수학식 1의 필터 알고리즘을 상기 반사광이 제거된 영상 정보에 적용하여 상기 동공 후보 영역을 검출하는 시선 추적 장치
13 13
제5항에 있어서,상기 영상 획득부는,상기 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택하는 영역 선택부;상기 두 개의 영역에 대한 각각의 임계치 값을 검출하는 임계치 검출부; 및상기 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 상기 눈 영상에 눈꺼풀 영상이 없는 것으로 판단하는 영상 판단부를 더 포함하는 시선 추적 장치
14 14
제5항에 있어서,상기 영상 획득부는,상기 동공 후보 영역으로부터 원형 정보를 검출하고, 상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출하는 동공 중심 검출부를 더 포함하는 시선 추적 장치
15 15
제14항에 있어서,상기 동공 중심 검출부는,상기 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하는 원형 검출부;상기 원의 외곽선 영역에 대하여 복수의 점을 선정하는 위치 선정부;상기 선정된 복수의 점과 상기 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 상기 선정된 복수의 점을 이동시키는 위치 이동부;상기 이동된 복수의 점에 대하여 상기 미분 값의 크기에 따라 가중치를 부여하는 가중치 부여부; 및 상기 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 상기 동공 중심 정보를 검출하는 타원 피팅부를 포함하는 시선 추적 장치
16 16
제5항에 있어서,상기 영상 획득부는,상기 사용자의 3차원 위치를 기반으로 하여 상기 협각 카메라가 상기 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산하는 시선 추적 장치
17 17
제16항에 있어서,상기 영상 획득부는,상기 팬 각도 및 상기 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하는 제1 추정부;상기 3차원 위치의 3차원 좌표와 상기 2차원 좌표의 상대적 위치 관계를 참조하여, 상기 3차원 좌표가 상기 가상 이미지 상에 투영되는 가상 좌표를 추정하는 제2 추정부; 및상기 가상 좌표를 기반으로 상기 팬 각도 및 상기 틸트 각도를 추정하는 제3 추정부를 포함하는 시선 추적 장치
18 18
제5항에 있어서,상기 사용자의 눈동자 흔들림에 의한 상기 시선 위치 정보의 오차를 보정하는 영상 보정부를 더 포함하는 시선 추적 장치
19 19
제18항에 있어서,상기 영상 보정부는,하기 수학식 2를 이용하여 상기 시선 위치 정보를 보정하는 시선 추적 장치
20 20
제5항에 있어서,상기 시선 위치 계산부는,상기 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 상기 시선 위치 정보를 계산하는 시선 추적 장치
21 21
둘 이상의 광각 카메라, 협각 카메라 및 영상 재생 장치의 상호 간의 캘리브레이션(calibration)을 수행하여 사용자에 대한 사용자 위치 정보를 계산하는 단계;상기 둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계;상기 영상 정보에 대하여 눈 위치 정보를 검출하는 단계;상기 눈 위치 정보 및 상기 사용자 위치 정보를 기반으로 상기 협각 카메라에 대한 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하여 눈 영상을 획득하는 단계;상기 눈 영상으로부터 동공 중심에 대한 동공 중심 정보를 검출하는 단계;상기 사용자의 눈에 반사된 각막 반사광에 대한 각막 반사광 정보를 검출하는 단계; 및상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계를 포함하고, 상기 시선 위치 정보를 계산하는 단계는,상기 사용자가 둘 이상의 광각 카메라 간의 캘리브레이션을 수행한 위치에서 이동한 경우, 상기 사용자 위치 정보를 전방향 움직임 보정 모델에 적용하여 보정하는 단계;상기 보정된 사용자 위치 정보를 이용하여 상기 시선 위치 정보를 계산하는 단계를 포함하는 시선 추적 방법
22 22
제21항에 있어서,상기 사용자 위치 정보를 계산하는 단계는,상기 둘 이상의 광각 카메라 간의 캘리브레이션(calibration)을 수행하는 단계;상기 둘 이상의 광각 카메라와 협각 카메라 간의 캘리브레이션을 수행하는 단계;상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 단계를 포함하는 시선 추적 방법
23 23
제21항에 있어서,상기 동공 중심 정보를 검출하는 단계는,상기 둘 이상의 영상 정보에 대하여 얼굴 영역 및 눈 영역을 검출하는 단계를 포함하는 시선 추적 방법
24 24
삭제
25 25
둘 이상의 광각 카메라를 통하여 영상 정보를 입력 받는 단계;상기 둘 이상의 광각 카메라를 이용하여 사용자에 대한 사용자 위치 정보를 계산하는 단계;협각 카메라를 이용하여 상기 사용자 위치 정보 및 눈 영역 검출 정보를 이용하여 팬(pan), 틸트(tilt), 및 포커스(focus) 동작을 수행하는 단계;상기 협각 카메라의 동작을 통하여 눈 영상을 획득하는 단계;상기 눈 영상으로부터 동공 중심 정보 및 각막 반사광 정보를 검출하는 단계; 및상기 동공 중심 정보 및 상기 각막 반사광 정보로부터 시선 위치 정보를 계산하는 단계를 포함하고, 상기 눈 영상을 획득하는 단계는,상기 입력된 영상 정보의 해상도를 조정하는 단계;상기 조정된 영상 정보의 반사광을 제거하는 단계; 및상기 반사광이 제거된 영상 정보에 기설정된 필터를 적용하여 동공 후보 영역을 검출하는 단계를 포함하는 시선 추적 방법
26 26
제25항에 있어서,상기 각각의 광각 카메라 간의 캘리브레이션(calibration) 을 수행하는 단계를 더 포함하는 시선 추적 방법
27 27
제26항에 있어서,스테레오 캘리브레이션 방식을 이용하여 하나의 광각 카메라를 기준으로 다른 카메라의 위치 및 회전 정도를 추정하는 단계를 더 포함하는 시선 추적 방법
28 28
제25항에 있어서,상기 둘 이상의 광각 카메라와 상기 협각 카메라 간의 캘리브레이션을 수행하는 단계를 더 포함하는 시선 추적 방법
29 29
제25항에 있어서,상기 협각 카메라와 영상 재생 장치 간의 캘리브레이션을 수행하는 단계를 더 포함하는 시선 추적 방법
30 30
제29항에 있어서,상기 협각 카메라가 이동하는 팬 축 및 틸트 축의 중심을 기준으로 상기 영상 재생 장치의 실제 위치와의 차이를 추정하는 단계를 더 포함하는 시선 추적 방법
31 31
삭제
32 32
제25항에 있어서,상기 동공 후보 영역을 검출하는 단계는,하기 수학식 3의 필터 알고리즘을 상기 반사광이 제거된 영상 정보에 적용하여 상기 동공 후보 영역을 검출하는 시선 추적 방법
33 33
제25항에 있어서,상기 눈 영상을 획득하는 단계는,상기 동공 후보 영역에서 서로 다른 크기의 두 개의 영역을 선택하는 단계;상기 두 개의 영역에 대한 각각의 임계치 값을 검출하는 단계; 및상기 검출된 두 개의 임계치 값을 비교하여 동일한 경우, 상기 눈 영상에 눈꺼풀 영상이 없는 것으로 판단하는 단계를 더 포함하는 시선 추적 방법
34 34
제25항에 있어서,상기 눈 영상을 획득하는 단계는,상기 동공 후보 영역으로부터 원형 정보를 검출하는 단계; 및상기 검출된 원형 정보를 타원 피팅(Ellipse fitting)을 수행하여 상기 동공 중심 정보를 검출하는 단계를 더 포함하는 시선 추적 방법
35 35
제34항에 있어서,상기 눈 영상을 획득하는 단계는,상기 동공 후보 영역에서 원 검출 방식을 적용하여 원의 중심과 외곽선 영역을 판별하는 단계;상기 원의 외곽선 영역에 대하여 복수의 점을 선정하는 단계;상기 선정된 복수의 점과 상기 원의 중심을 연결한 직선 상에서 밝기 값에 대한 미분 값이 가장 큰 위치로 상기 선정된 복수의 점을 이동시키는 단계;상기 이동된 복수의 점에 대하여 상기 미분 값의 크기에 따라 가중치를 부여하는 단계; 및 상기 가중치가 부여된 복수의 점을 이용하여 타원 피팅을 수행하여 상기 동공 중심 정보를 검출하는 단계를 더 포함하는 시선 추적 방법
36 36
제25항에 있어서,상기 사용자의 3차원 위치를 기반으로 하여 상기 협각 카메라가 상기 사용자를 촬영하기 위한 팬 각도 및 틸트 각도를 계산하는 단계를 더 포함하는 시선 추적 방법
37 37
제36항에 있어서,상기 팬 각도 및 상기 틸트 각도에 대응하는 가상 이미지의 2차원 좌표를 추정하는 단계;상기 3차원 위치의 3차원 좌표와 상기 2차원 좌표의 상대적 위치 관계를 참조하여, 상기 3차원 좌표가 상기 가상 이미지 상에 투영되는 가상 좌표를 추정하는 단계; 및상기 가상 좌표를 기반으로 상기 팬 각도 및 상기 틸트 각도를 추정하는 단계를 더 포함하는 시선 추적 방법
38 38
제25항에 있어서,상기 사용자의 눈동자 흔들림에 의한 상기 시선 위치 정보의 오차를 보정하는 단계를 더 포함하는 시선 추적 방법
39 39
제38항에 있어서,상기 상기 시선 위치 정보의 오차를 보정하는 단계는,하기 수학식 4를 이용하여 상기 시선 위치 정보를 보정하는 시선 추적 방법
40 40
제25항에 있어서,상기 사용자의 움직임에 따라 시선 위치를 보정하는 전방향 움직임 보정 모델을 통하여 상기 시선 위치 정보를 계산하는 단계를 더 포함하는 시선 추적 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 US09426447 US 미국 FAMILY
2 US20140098198 US 미국 FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
DOCDB 패밀리 정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 방송통신위원회 한국전자통신연구원 방송통신연구개발사업[기술개발부문] IPTV용 Interactive 시점제어 기술개발