맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

가상 공간 멀티 터치 인터랙션 장치 및 방법

  • 기술번호 : KST2015100271
  • 담당센터 : 대전기술혁신센터
  • 전화번호 : 042-610-2279
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 입체 영상 제공이 가능한 착용형 디스플레이를 통해 가시화되는 가상물체와 사용자의 손가락이 터치하는 순간을 인식하고, 사용자에게 시각적 상호작용과 동시에 촉각 피드백을 함께 제공할 수 있는 가상 공간 멀티 터치 인터랙션 장치 및 방법을 제시한다. 제시된 장치는 가상 영상을 출력하는 가시화부, 가시화부를 통해 가시화되는 가상 영상에 대한 사용자의 손가락 끝점 검출 및 움직임 검출을 통해 멀티 터치를 인식하는 가상 공간 멀티 터치 인식부, 및 가상 공간 멀티 터치 인식부에 의해 인식된 사용자의 멀티 터치에 상응하는 터치 피드백을 제공하는 터치 피드백 제공부를 포함한다.
Int. CL G06F 3/048 (2017.01.01) G06F 3/01 (2006.01.01)
CPC G06F 3/048(2013.01) G06F 3/048(2013.01) G06F 3/048(2013.01) G06F 3/048(2013.01) G06F 3/048(2013.01) G06F 3/048(2013.01)
출원번호/일자 1020130119271 (2013.10.07)
출원인 한국전자통신연구원
등록번호/일자 10-2147430-0000 (2020.08.18)
공개번호/일자 10-2015-0040580 (2015.04.15) 문서열기
공고번호/일자 (20200824) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.09.27)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대한민국 대전광역시 유성구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김혜미 대한민국 대전광역시 유성구
2 김용완 대한민국 대전광역시 유성구
3 양웅연 대한민국 대전광역시 유성구
4 김기홍 대한민국 대전광역시 유성구
5 이길행 대한민국 서울 서초구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 한양특허법인 대한민국 서울특별시 강남구 논현로**길 **, 한양빌딩 (도곡동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 한국전자통신연구원 대전광역시 유성구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2013.10.07 수리 (Accepted) 1-1-2013-0906566-66
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.02.02 수리 (Accepted) 4-1-2015-0006137-44
3 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)		 2018.09.27 수리 (Accepted) 1-1-2018-0952129-23
4 선행기술조사의뢰서
Request for Prior Art Search		 2019.09.18 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search		 2019.11.08 발송처리완료 (Completion of Transmission) 9-6-2019-0129747-07
6 의견제출통지서
Notification of reason for refusal		 2019.11.25 발송처리완료 (Completion of Transmission) 9-5-2019-0851667-65
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2020.01.28 수리 (Accepted) 1-1-2020-0090371-39
8 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2020.01.28 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0090372-85
9 등록결정서
Decision to grant		 2020.05.25 발송처리완료 (Completion of Transmission) 9-5-2020-0358184-52
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
가상 영상을 출력하는 가시화부;상기 가시화부를 통해 가시화되는 가상 영상에 대한 사용자의 손가락 끝점 검출 및 움직임 검출을 통해 멀티 터치를 인식하는 가상 공간 멀티 터치 인식부; 및상기 가상 공간 멀티 터치 인식부에 의해 인식된 사용자의 멀티 터치에 상응하는 터치 피드백을 제공하는 터치 피드백 제공부;를 포함하고,상기 터치 피드백 제공부는상기 가상 공간 멀티 터치 인식부로부터 상기 가상 영상의 가상 평면과 상기 손가락 끝점 검출의 교차 여부의 결과를 받으면 상기 사용자의 스마트 디바이스에서 구동되고 있는 터치 위젯으로 왼손 터치 여부, 오른손 터치 여부, 가상 평면으로의 손가락 침투깊이 및 멀티 터치 제스쳐 타입에 관한 정보를 포함하는 터치 피드백 데이터를 전송하고,상기 사용자의 스마트 디바이스는상기 터치 위젯을 통해 전송받은 상기 터치 피드백 데이터로부터,상기 사용자의 왼손 및 오른손을 구별하여 상기 사용자에게 상기 터치 피드백을 제공하고,상기 손가락의 침투깊이에 비례하는 진동의 강도로 상기 사용자에게 상기 터치 피드백을 제공하고,상기 멀티 터치에 대한 제스쳐의 종류 및 손가락 종류에 따라서 상기 터치 피드백의 진동 패턴을 서로 다르게 피드백하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
2 2
청구항 1에 있어서,상기 가상 공간 멀티 터치 인식부는,상기 사용자를 촬영함에 따른 컬러영상 및 깊이정보를 획득하는 컬러영상/깊이정보 획득부;상기 사용자의 전신 관절에 대한 회전 및 움직임을 추적하는 신체 관절 추적부;상기 컬러영상 및 깊이정보로부터 해당 사용자의 손 영역을 검출하는 손 영역 검출부;상기 손 영역 검출부에 의해 검출되는 손 영역의 손 윤곽선상에 존재하는 픽셀의 곡률 계산값으로부터 손가락 끝점을 검출하는 손가락 끝점 정보 검출부;상기 손가락 끝점 정보 검출부로부터의 정보를 근거로 상기 사용자가 상기 가상 영상을 터치하였는지를 인식하는 가상 터치 인식부; 및상기 신체 관절 추적부의 결과 및 상기 가상 터치 인식부의 결과에 근거하여 상기 사용자가 상기 가상 영상에 손가락을 터치한 터치 포인트에 대한 해당 사용자의 제스쳐를 인식하는 멀티 터치 제스쳐 인식부;를 포함하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
3 3
청구항 2에 있어서,상기 손 영역 검출부는 상기 컬러영상 및 깊이정보에 대해 상기 신체 관절 추적부에서 획득한 추적 결과값을 기반으로 손 영역을 검출하되, 상기 깊이정보를 근거로 추적된 손 좌표를 중심으로 일정 크기의 영역내에 있는 픽셀중 깊이값이 임계치보다 작은 값을 가지는 픽셀을 모아 손 영역을 검출하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
4 4
청구항 2에 있어서,상기 손 영역 검출부는 상기 컬러영상 및 깊이정보에 대해 상기 신체 관절 추적부에서 획득한 추적 결과값을 기반으로 손 영역을 검출하되, 상기 컬러영상에서 얼굴을 검출한 후 얼굴의 3차원 위치 정보를 바탕으로 얼굴과 손과의 3차원 위치에 관한 사전지식을 활용하여 검출하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
5 5
청구항 2에 있어서,상기 손가락 끝점 정보 검출부는, 상기 검출된 손 영역의 손 윤곽선을 따라 존재하는 각 픽셀에서 양방향으로 떨어진 각각의 픽셀간의 방향벡터를 계산하여 두 방향벡터의 각도가 임계치 이상이 되면 손가락 끝점의 후보로 인식하고, 상기 인식된 손가락 끝점의 후보의 좌표를 중심으로 관심영역을 설정하고 상기 컬러영상/깊이정보 획득부에서 얻어진 깊이맵으로부터 상기 관심영역 내 배경을 제외한 손 영역의 깊이값 평균을 구하여 이를 손가락 끝점의 깊이 정보로 대응시키는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
6 6
청구항 2에 있어서,상기 멀티 터치 제스쳐 인식부는 터치 지속시간, 움직임 허용 오차, 움직임 모멘텀 벡터, 터치 포인트간 거리, 및 터치 포인트 간 중점 기울기를 인식 파라미터로 사용하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
7 7
청구항 2에 있어서,상기 가상 공간 멀티 터치 인식부는,상기 컬러영상 및 깊이정보를 근거로 다수 사용자중에서 가장 전방에 위치한 사용자를 주 사용자로 선정하는 다수 사용자 처리부를 추가로 포함하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
8 8
청구항 1에 있어서,상기 가시화부는 얼굴 착용형 입체 디스플레이로 구성되는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 장치
9 9
삭제
10 10
가상 공간 멀티 터치 인식부가, 가시화부를 통해 가시화되는 가상 영상에 대한 사용자의 손가락 끝점 검출 및 움직임 검출을 통해 멀티 터치를 인식하는 단계; 및터치 피드백 제공부가, 상기 사용자의 멀티 터치를 인식하는 단계에 의해 인식된 사용자의 멀티 터치에 상응하는 터치 피드백을 제공하는 단계;를 포함하고,상기 터치 피드백을 제공하는 단계는상기 터치 피드백 제공부가, 상기 가상 공간 멀티 터치 인식부로부터 상기 가상 영상의 가상 평면과 상기 손가락 끝점 검출의 교차 여부의 결과를 받으면 상기 사용자의 스마트 디바이스에서 구동되고 있는 터치 위젯으로 왼손 터치 여부, 오른손 터치 여부, 가상 평면으로의 손가락 침투깊이 및 멀티 터치 제스쳐 타입에 관한 정보를 포함하는 터치 피드백 데이터를 전송하고,상기 사용자의 스마트 디바이스는상기 터치 위젯을 통해 전송받은 상기 터치 피드백 데이터로부터,상기 사용자의 왼손 및 오른손을 구별하여 상기 사용자에게 상기 터치 피드백을 제공하고,상기 손가락의 침투깊이에 비례하는 진동의 강도로 상기 사용자에게 상기 터치 피드백을 제공하고,상기 멀티 터치에 대한 제스쳐의 종류 및 손가락 종류에 따라서 상기 터치 피드백의 진동 패턴을 서로 다르게 피드백하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
11 11
청구항 10에 있어서,상기 멀티 터치를 인식하는 단계는,상기 사용자를 촬영함에 따른 컬러영상 및 깊이정보를 획득하는 단계;상기 사용자의 전신 관절에 대한 회전 및 움직임을 추적하는 단계;상기 컬러영상 및 깊이정보로부터 해당 사용자의 손 영역을 검출하는 단계;상기 손 영역의 손 윤곽선상에 존재하는 픽셀의 곡률 계산값으로부터 손가락 끝점을 검출하는 단계;상기 손가락 끝점을 검출하는 단계에 의한 정보를 근거로 상기 사용자가 상기 가상 영상을 터치하였는지를 인식하는 단계; 및상기 회전 및 움직임을 추적하는 단계의 결과 및 상기 가상 영상을 터치하였는지를 인식하는 단계의 결과에 근거하여 상기 사용자가 상기 가상 영상에 손가락을 터치한 터치 포인트에 대한 해당 사용자의 제스쳐를 인식하는 단계;를 포함하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
12 12
청구항 11에 있어서,상기 손 영역을 검출하는 단계는 상기 컬러영상 및 깊이정보에 대해 상기 사용자의 전신 관절에 대한 회전 및 움직임을 추적하는 단계에서 획득한 추적 결과값을 기반으로 손 영역을 검출하되, 상기 깊이정보를 근거로 추적된 손 좌표를 중심으로 일정 크기의 영역내에 있는 픽셀중 깊이값이 임계치보다 작은 값을 가지는 픽셀을 모아 손 영역을 검출하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
13 13
청구항 11에 있어서,상기 손 영역을 검출하는 단계는 상기 컬러영상 및 깊이정보에 대해 상기 사용자의 전신 관절에 대한 회전 및 움직임을 추적하는 단계에서 획득한 추적 결과값을 기반으로 손 영역을 검출하되, 상기 컬러영상에서 얼굴을 검출한 후 얼굴의 3차원 위치 정보를 바탕으로 얼굴과 손과의 3차원 위치에 관한 사전지식을 활용하여 검출하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
14 14
청구항 11에 있어서,상기 손가락 끝점을 검출하는 단계는 상기 검출된 손 영역의 손 윤곽선을 따라 존재하는 각 픽셀에서 양방향으로 떨어진 각각의 픽셀간의 방향벡터를 계산하여 두 방향벡터의 각도가 임계치 이상이 되면 손가락 끝점의 후보로 인식하고, 상기 인식된 손가락 끝점의 후보의 좌표를 중심으로 관심영역을 설정하고 상기 컬러영상 및 깊이정보를 획득하는 단계에서 얻어진 깊이맵으로부터 상기 관심영역 내 배경을 제외한 손 영역의 깊이값 평균을 구하여 이를 손가락 끝점의 깊이 정보로 대응시키는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
15 15
청구항 11에 있어서,상기 사용자의 제스쳐를 인식하는 단계는 터치 지속시간, 움직임 허용 오차, 움직임 모멘텀 벡터, 터치 포인트간 거리, 및 터치 포인트 간 중점 기울기를 인식 파라미터로 사용하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
16 16
청구항 11에 있어서,상기 멀티 터치를 인식하는 단계는, 상기 컬러영상 및 깊이정보를 근거로 다수 사용자중에서 가장 전방에 위치한 사용자를 주 사용자로 선정하는 단계를 추가로 포함하는 것을 특징으로 하는 가상 공간 멀티 터치 인터랙션 방법
17 17
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 지식경제부 한국전자통신연구원 산업원천기술개발사업 실감 체험 공간 확장형 Live 4D 콘텐츠 플랫폼 기술 개발