맞춤기술찾기

이전대상기술

가상 터치 센서를 이용한 노래 반주 기기의 제어 방법(Karaoke Machine System control method using Virtual Touch Sensor Based On Depth Information)

  • 기술번호 : KST2017006380
  • 담당센터 : 부산기술혁신센터
  • 전화번호 : 051-606-6561
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 영상 송출 모듈을 통하여 가상의 노래 반주용 그래픽 인터페이스를 생성하고 깊이 정보 기반의 가상 터치 센서 영역에서 감지한 터치 좌표들의 위치 변화에 따라 노래 반주 기기를 제어하는 방법에 관한 것으로서, 더욱 상세하게는 가상의 노래 반주용 그래픽 인터페이스 상에서 다중 터치 인식이 가능한 깊이 정보 기반의 가상 터치 센서 영역을 구현하고, 상기 가상 터치 센서 영역 상에서 사용자의 터치 행위에 의하여 인식된 단일 터치 동작 또는 다중 터치 동작을 깊이 카메라가 인식 및 깊이 정보로 변환하여 이에 적합한 그래픽 기반의 제어 이벤트를 가상의 노래 반주용 그래픽 인터페이스 상에 나타나도록 하여 노래 반주 기기를 제어하는 방법에 관한 것이다.본 발명에 따른 가상 터치 센서를 이용한 노래 반주 기기 및 그 제어 방법은 깊이 카메라를 사용자가 원하는 위치에 설치하고 벽면 또는 책상과 같은 평면체 또는 완만한 곡면체 등의 평구조부를 노래 반주 기기 제어 화면의 기반체로 하여 객체를 인식시키고 빔 프로젝터와 같은 영상 송출 모듈로 가상의 노래 반주용 그래픽 인터페이스를 생성한 후, 평구조부에 투사된 노래 반주용 그래픽 인터페이스 상의 특정 위치를 터치하면 깊이 카메라가 사용자의 특정 위치에 대한 터치 동작을 인식하여 노래 반주 기기로 터치 정보를 전달하는 알고리듬이 순차적으로 적용되고 상기한 개별 모듈이 하나의 시스템으로 구성되는 것을 특징으로 한다.
Int. CL G06F 3/03 (2015.10.31) G11B 31/02 (2015.10.31)
CPC G06F 3/0304(2013.01) G06F 3/0304(2013.01)
출원번호/일자 1020150132835 (2015.09.21)
출원인 동의대학교 산학협력단
등록번호/일자
공개번호/일자 10-2017-0034505 (2017.03.29) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.09.21)
심사청구항수 5

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동의대학교 산학협력단 대한민국 부산광역시 부산진구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 권순각 대한민국 부산광역시 부산진구
2 윤찬영 대한민국 부산광역시 남구
3 김민지 대한민국 울산광역시 울주군

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 정병홍 대한민국 대전광역시 서구 청사로 ***(둔산동,매그놀리아) 매그놀리아 ***호(베스티안특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동의대학교 산학협력단 대한민국 부산광역시 부산진구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.09.21 수리 (Accepted) 1-1-2015-0914427-30
2 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2015.09.25 수리 (Accepted) 1-1-2015-0940351-13
3 선행기술조사의뢰서
Request for Prior Art Search
2016.01.12 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2016.02.05 수리 (Accepted) 9-1-2016-0008103-90
5 의견제출통지서
Notification of reason for refusal
2016.10.20 발송처리완료 (Completion of Transmission) 9-5-2016-0752933-57
6 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)
2016.12.20 수리 (Accepted) 1-1-2016-1252853-96
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.01.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0074531-80
8 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.01.20 수리 (Accepted) 1-1-2017-0074514-14
9 거절결정서
Decision to Refuse a Patent
2017.05.30 발송처리완료 (Completion of Transmission) 9-5-2017-0378350-11
10 [명세서등 보정]보정서(재심사)
Amendment to Description, etc(Reexamination)
2017.07.01 보정승인 (Acceptance of amendment) 1-1-2017-0632813-94
11 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.07.01 수리 (Accepted) 1-1-2017-0632814-39
12 최후의견제출통지서
Notification of reason for final refusal
2017.07.18 발송처리완료 (Completion of Transmission) 9-5-2017-0498735-66
13 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.08.16 수리 (Accepted) 1-1-2017-0786166-73
14 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.08.16 보정승인 (Acceptance of amendment) 1-1-2017-0786187-21
15 등록결정서
Decision to Grant Registration
2017.08.25 발송처리완료 (Completion of Transmission) 9-5-2017-0595243-13
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
터치 센서 영역에 대한 깊이 영상을 얻는 깊이 영상 촬영 모듈(11); 터치 센서 영역에 대한 영상의 공간 좌표 왜곡을 보정하는 공간 좌표 보정부(12); 터치 센서 영역의 대표 깊이 값을 계산하는 깊이 값 계산부(13); 깊이 영상의 화소를 순차적으로 그룹화하고 라벨링하여 객체를 검출하는 객체 검출부(14); 검출된 객체에 대한 포인터를 추출하는 포인터 추출부(15); 추출된 포인터 위치의 깊이 값을 기준으로 터치 센서 영역에 대한 터치 여부를 판단하는 터치 판단부(16); 가상 노래 반주용 그래픽 인터페이스를 평구조부(120)에 투사하기 위한 빔 프로젝터 영상 송출 모듈(130); 터치 위치 인식용 가상 노래 반주용 그래픽 인터페이스 데이터, 노래 반주 데이터, 영상 데이터가 내재된 노래 반주 기기 모듈(140); 노래 반주를 출력하기 위한 스피커 모듈(150); 유선 연결의 최소화를 위한 근거리 무선 통신 모듈(160);이 구비되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법에 관한 것으로서,가상 노래 반주용 그래픽 인터페이스 기반체인 평구조부를 선정하고 깊이 영상 촬영을 시작하는 단계(S100); 상기 평구조부에 가상 노래 반주용 그래픽 인터페이스 영상을 투사하여 생성하는 단계(S200); 상기 가상 노래 반주용 그래픽 인터페이스 영상에서 터치 영역 배경 데이터를 추출하는 단계(S210); 상기 가상 노래 반주용 그래픽 인터페이스 영상과 사용자 손 사이의 변위에 대한 깊이 정보를 취득하고자 깊이 카메라로 사용자의 손을 인식하는 객체 인식 단계(S300); 상기 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400); 상기 검출된 터치 위치를 깊이 정보로 변환하는 단계(S500); 상기 변환된 깊이 정보를 노래 반주 기기 상에 내재된 노래 반주 데이터와 일치시키는 데이터 동기화 단계(S510);상기 노래 반주 데이터와 일치시키는 데이터가 동기화되지 않는 경우, 다시 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400)로 피드백하는 단계; 상기 동기화 된 데이터 코드를 노래 반주 기기에 전송하는 단계(S600); 상기 전송된 코드를 노래 반주 기기 상에 내재된 해당 노래 반주 데이터로 추출하는 단계(S610);상기 노래 반주 기기상에 내재된 해당 노래 반주 데이터로 추출되지 않는 경우, 다시 사용자 손이 가상 노래 반주용 그래픽 인터페이스 영상에서 터치한 위치를 검출하는 단계(S400)로 피드백하는 단계; 상기 추출된 노래 반주 데이터를 가상 노래 반주용 그래픽 인터페이스로 재전송하는 피드백을 수행하고 노래 반주를 진행하는 단계(S700)로 구성되는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법
2 2
삭제
3 3
제 1 항에 있어서, 상기 평구조부(120) 상에 구현된 가상 터치 센서 영역(12r)에 터치하면 깊이 카메라가 해당 터치의 좌표 정보(10t, 11t)를 인식하고 깊이 정보로 변환하여 상기 노래 반주 기기 모듈(140)에 전달하면 가상의 노래 반주용 그래픽 이벤트가 상기 평구조부(120) 상에 나타나는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법
4 4
삭제
5 5
제 1 항에 있어서, 상기 깊이 영상 촬영 모듈(11)은 행거, 받침대의 외부 거치대 형태, 벽 또는 바닥 내부에 고정식 형태, 탈부착이 자유로운 착탈식 형태, 단말 기기에 부착되는 소켓식 형태로 부착이 가능한 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법
6 6
제 1 항에 있어서, 상기 터치 센서 영역의 깊이 값 계산부(13)는 상기 깊이 영상 촬영 모듈(11)이 터치 센서 영역을 촬영하여 획득한 터치 센서 영역에 대한 깊이 영상을 받아 특정 지점의 깊이 값을 계산해 주고, 안정적인 영상을 얻기 위하여 특정 개수에 해당되는 화면을 축적할 수 있으며, 화면을 축적한 경우에는 평균값을 계산하여 터치 센서의 각 위치에 대표 깊이 값으로 저장하는 것을 특징으로 하는 영상의 깊이 정보를 이용한 노래 반주 기기의 제어 방법
7 7
제 1 항에 있어서, 상기 깊이 영상 촬영 모듈(11)이 촬영한 터치 센서 영역에 대한 영상의 공간 좌표 왜곡 보정은,
8 8
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부-중소기업청 동의대학교 산학협력단 산학연협력 첫걸음 기술개발사업 차세대 관제시스템을 위한 깊이 정보 기반의 터치스크린 기술(중소기업산학협력센터)