맞춤기술찾기

이전대상기술

NUI 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법

  • 기술번호 : KST2015188512
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 사용자 제스처를 통해 디스플레이 장치를 제어하는 NUI 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법에 관한 것으로, RGB-D 카메라로부터 입력받은 영상을 분석하여 양손의 움직임의 궤적에 대하여 격자공간으로 분할된 2차원 스크린에 투영시킨 좌표를 이용하여 체인코드를 생성하고 화면마다 서로 다른 제스처 모델을 적용하여 사용자 제스처를 인식하여 화면을 변경하거나 화면을 구성하는 가상객체의 설정을 변경하여 다시 디스플레이하는 것을 특징으로 한다.
Int. CL G06F 3/01 (2006.01)
CPC G06F 3/017(2013.01) G06F 3/017(2013.01)
출원번호/일자 1020140134925 (2014.10.07)
출원인 동국대학교 산학협력단
등록번호/일자 10-1525011-0000 (2015.05.27)
공개번호/일자
공고번호/일자 (20150609) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2014.10.07)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 조경은 대한민국 서울특별시 강남구
2 엄기현 대한민국 서울특별시 송파구
3 이성조 대한민국 경기도 고양시 일산서구
4 이병권 대한민국 경기도 용인시 수지구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인충현 대한민국 서울특별시 서초구 동산로 **, *층(양재동, 베델회관)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2014.10.07 수리 (Accepted) 1-1-2014-0955797-78
2 [우선심사신청]심사청구(우선심사신청)서
[Request for Preferential Examination] Request for Examination (Request for Preferential Examination)
2014.12.02 수리 (Accepted) 1-1-2014-1171061-40
3 [우선심사신청]선행기술조사의뢰서
[Request for Preferential Examination] Request for Prior Art Search
2014.12.03 수리 (Accepted) 9-1-9999-9999999-89
4 [우선심사신청]선행기술조사보고서
[Request for Preferential Examination] Report of Prior Art Search
2014.12.16 수리 (Accepted) 9-1-2014-0100499-11
5 의견제출통지서
Notification of reason for refusal
2015.01.21 발송처리완료 (Completion of Transmission) 9-5-2015-0046889-85
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2015.03.16 수리 (Accepted) 1-1-2015-0254249-17
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2015.03.16 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2015-0254273-03
8 등록결정서
Decision to grant
2015.05.21 발송처리완료 (Completion of Transmission) 9-5-2015-0340227-00
9 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
사용자를 추적하여 촬영한 영상을 입력받아 상기 영상에서 상기 사용자의 얼굴 및 몸의 관절에 대한 움직임 정보를 추출하는 입력부; 얼굴의 회전 각도 또는 사용자의 걸음과 관련된 하나 이상의 관절의 변화가 미리 설정된 임계치를 넘는 경우 사용자의 이동에 따른 화면 전환을 나타내는 이벤트 신호를 발생시키는 감지부; 사용자의 양손에 대한 그립(Grip) 상태를 판단하고, 그립 상태인 손의 종류에 따라 사용자의 양손의 움직임에 대한 궤적을 사용자의 시선 방향과 수직인 2차원 스크린에 투영시킨 2차원 좌표를 이용하여 단위 방향벡터로 구성된 체인코드를 생성하고, 상기 양손에 대한 그립 상태, 상기 2차원 좌표 및 상기 체인코드에 대하여 제스처 학습 모델을 나타내는 제스처 모델을 적용하여 상기 사용자의 양손의 움직임에 대응되는 제스처를 인식하는 제스처인식부; 상기 이벤트 신호 및 상기 인식된 제스처에 따라 화면, 화면의 메뉴 또는 화면을 구성하는 가상객체 중 어느 하나의 설정을 변경하는 제어부; 및 상기 제어부에 의해 변경된 설정 값을 출력하는 출력부;를 포함하는 가상공간 디스플레이 제어장치
2 2
제 1 항에 있어서, 상기 감지부에서 상기 사용자의 걸음과 관련된 관절은 어깨, 허리 및 양손의 관절이고, 상기 관절들의 상대적 변화 값에 따라 사용자가 걸어가는 것인지 여부를 판단하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
3 3
제 1 항에 있어서, 상기 감지부에서 상기 이벤트 신호는 상기 얼굴 또는 상기 관절의 최종 좌표값과 현재 디스플레이되고 있는 화면 정보를 포함하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
4 4
제 1 항에 있어서, 상기 제스처인식부는 양손 또는 한손이 그립 상태에서 해제되는 동안의 양손의 움직임을 하나의 제스처로 인식하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
5 5
제 1 항에 있어서, 상기 제스처인식부에서 서로 다른 복수의 제스처 모델들 중에서 현재 디스플레이되고 있는 화면에 대응하는 제스처 모델이 적용되고, 동일한 화면에서 왼손 및 오른손에 대하여 각각 제스처 모델을 적용하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
6 6
제 5 항에 있어서, 상기 제스처 모델들 중에서 현재 디스플레이되고 있는 화면에 대응되는 제스처 모델을 적용하며, 양손이 모두 그립 상태인 경우 각각의 손에 대응되는 제스처 모델을 적용하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
7 7
제 1 항에 있어서, 상기 제스처인식부는 상기 2차원 스크린을 일정 크기의 격자 공간으로 분할하고, 상기 궤적을 구성하는 3차원 좌표에 대응되도록 상기 격자 공간의 좌표를 순서대로 저장하여 상기 저장된 모든 좌표들에 대하여 해당 좌표 및 이전 좌표에 대한 상대적 벡터를 계산하여 상기 단위 방향벡터로 분류하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
8 8
제 7 항에 있어서, 상기 제스처인식부는 상기 해당 좌표에 대한 이전 좌표와 다음 좌표가 대각선 관계에 해당하고 가장 최근에 저장된 방향벡터가 대각선벡터가 아닌 경우 대각선벡터로 변경하여 저장하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
9 9
제 1 항에 있어서, 상기 제스처인식부는 동일한 방향벡터의 조합을 가지는 두 체인코드가 상기 양손의 움직임의 시작 좌표와 마지막 좌표가 다른 경우에 다른 제스처로 인식하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
10 10
제 1 항에 있어서, 상기 제어부는 현재 디스플레이되고 있는 화면과 연결된 화면들 중에서 상기 인식된 제스처 또는 상기 최종 2차원 좌표에 따라 다음 화면을 선택하여 화면의 설정을 변경하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
11 11
제 1 항에 있어서, 상기 제어부는 상기 인식된 제스처에 따라 상기 2차원 좌표 중 시작 좌표에 대응되는 가상객체를 선택하고 상기 선택된 가상객체의 상태, 위치 또는 크기를 변경하는 것을 특징으로 하는 가상공간 디스플레이 제어장치
12 12
입력부가 사용자를 추적하여 촬영한 영상을 입력받아 상기 영상에서 상기 사용자의 얼굴 및 몸의 관절에 대한 움직임 정보를 추출하는 단계; 상기 추출된 움직임 정보에서 얼굴의 회전 각도 또는 걸음과 관련된 하나 이상의 관절의 변화가 미리 설정된 임계치를 넘는 경우 감지부가 사용자의 이동에 따른 화면 전환을 나타내는 이벤트 신호를 발생시키는 단계; 상기 이벤트 신호가 있는 경우 제어부가 상기 이벤트 신호에 따라 화면을 변경하는 단계; 상기 이벤트 신호가 없는 경우 제스처인식부가 상기 추출된 움직임 정보를 분석하여 사용자의 양손에 대한 그립(Grip) 상태를 판단하고, 그립 상태인 손의 종류에 따라 사용자의 양손의 움직임에 대한 궤적을 사용자의 시선 방향과 수직인 2차원 스크린에 투영시킨 2차원 좌표를 이용하여 단위 방향벡터로 구성된 체인코드를 생성하고, 상기 양손에 대한 그립 상태, 상기 2차원 좌표 및 상기 체인코드에 대하여 제스처 학습 모델을 나타내는 제스처 모델을 적용하여 상기 사용자의 양손의 움직임에 대응되는 제스처를 인식하는 단계; 상기 제어부가 현재 디스플레이되고 있는 화면을 기준으로 상기 인식된 제스처에 따라 화면, 화면의 메뉴 또는 화면을 구성하는 가상객체 중 어느 하나의 설정을 변경하는 단계; 및 출력부가 상기 제어부에 의해 변경된 설정 값을 출력하는 단계;를 포함하는 가상공간 디스플레이 장치의 제어방법
13 13
제 12 항에 있어서, 상기 이벤트 신호를 발생시키는 단계에서 상기 사용자의 걸음과 관련된 관절은 어깨, 허리 및 양손의 관절에 해당하고 상기 관절들의 상대적 변화 값에 따라 사용자가 걸어가는 것인지 여부를 판단하며, 상기 이벤트 신호는 상기 얼굴 또는 상기 관절의 최종 좌표값과 현재 디스플레이되고 있는 화면 정보를 포함하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
14 14
제 12 항에 있어서, 상기 제스처를 인식하는 단계는 양손 또는 한손이 그립 상태에서 해제되는 동안의 양손의 움직임을 하나의 제스처로 인식하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
15 15
제 12 항에 있어서, 상기 제스처를 인식하는 단계에서 서로 다른 복수의 제스처 모델들 중에서 현재 디스플레이되고 있는 화면에 대응하는 제스처 모델이 적용되고, 동일한 화면에서 왼손 및 오른손에 대하여 각각 제스처 모델을 더 구비하며,양손이 모두 그립 상태인 경우 각각의 손에 대응되는 제스처 모델을 적용하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
16 16
제 12 항에 있어서, 상기 제스처를 인식하는 단계는 상기 2차원 스크린을 일정 크기의 격자 공간으로 분할하고, 상기 궤적을 구성하는 3차원 좌표에 대응되도록 상기 격자 공간의 좌표를 순서대로 저장하여 상기 저장된 모든 좌표들에 대하여 해당 좌표 및 이전 좌표에 대한 상대적 벡터를 계산하여 상기 단위 방향벡터로 분류하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
17 17
제 16 항에 있어서, 상기 제스처를 인식하는 단계는 상기 해당 좌표에 대한 이전 좌표와 다음 좌표가 대각선관계에 해당하고 가장 최근에 저장된 방향벡터가 대각선벡터가 아닌 경우 대각선벡터로 변경하여 저장하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
18 18
제 12 항에 있어서, 상기 제스처를 인식하는 단계는 동일한 방향벡터의 조합을 가지는 두 체인코드가 상기 양손의 움직임의 시작 좌표와 마지막 좌표가 다른 경우에 다른 제스처로 인식하는 것을 특징으로 하는 가상공간 디스플레이 장치의 제어방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 동국대학교 산학협력단 대학 IT 연구센터육성지원사업 (ITRC) 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션NUI/NUX 플랫폼 기술 개발