요약 | 본 발명은 NUI/NUX에 기반하여 디지털 드로잉 영상을 처리하는 장치 및 방법에 관한 것으로, 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션(drawing motion)을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 드로잉 수단의 움직임을 미리 학습된 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 사용자의 드로잉 모션에 대응하여 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력한다. |
---|---|
Int. CL | G06T 11/80 (2006.01.01) G06F 3/01 (2006.01.01) G06F 3/0488 (2013.01.01) G06F 3/03 (2006.01.01) G06K 9/00 (2006.01.01) G06F 3/00 (2006.01.01) |
CPC | G06T 11/80(2013.01) G06T 11/80(2013.01) G06T 11/80(2013.01) G06T 11/80(2013.01) G06T 11/80(2013.01) G06T 11/80(2013.01) G06T 11/80(2013.01) |
출원번호/일자 | 1020160070503 (2016.06.07) |
출원인 | 동국대학교 산학협력단 |
등록번호/일자 | 10-1775080-0000 (2017.08.30) |
공개번호/일자 | |
공고번호/일자 | (20170905) 문서열기 |
국제출원번호/일자 | |
국제공개번호/일자 | |
우선권정보 | |
법적상태 | 등록 |
심사진행상태 | 수리 |
심판사항 | |
구분 | 신규 |
원출원번호/일자 | |
관련 출원번호 | |
심사청구여부/일자 | Y (2016.06.07) |
심사청구항수 | 15 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 동국대학교 산학협력단 | 대한민국 | 서울특별시 중구 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 조경은 | 대한민국 | 서울특별시 강남구 |
2 | 치옥용 | 중국 | 서울특별시 중구 |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 특허법인충현 | 대한민국 | 서울특별시 서초구 동산로 **, *층(양재동, 베델회관) |
번호 | 이름 | 국적 | 주소 |
---|---|---|---|
1 | 동국대학교 산학협력단 | 서울특별시 중구 |
번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
---|---|---|---|---|
1 | [특허출원]특허출원서 [Patent Application] Patent Application |
2016.06.07 | 수리 (Accepted) | 1-1-2016-0546394-79 |
2 | 선행기술조사의뢰서 Request for Prior Art Search |
2016.10.11 | 수리 (Accepted) | 9-1-9999-9999999-89 |
3 | 선행기술조사보고서 Report of Prior Art Search |
2016.12.09 | 발송처리완료 (Completion of Transmission) | 9-6-2017-0012700-83 |
4 | 의견제출통지서 Notification of reason for refusal |
2017.01.20 | 발송처리완료 (Completion of Transmission) | 9-5-2017-0054858-82 |
5 | [지정기간연장]기간연장(단축, 경과구제)신청서 [Designated Period Extension] Application of Period Extension(Reduction, Progress relief) |
2017.03.20 | 수리 (Accepted) | 1-1-2017-0271227-25 |
6 | [지정기간연장]기간연장(단축, 경과구제)신청서 [Designated Period Extension] Application of Period Extension(Reduction, Progress relief) |
2017.04.20 | 수리 (Accepted) | 1-1-2017-0389347-84 |
7 | [명세서등 보정]보정서 [Amendment to Description, etc.] Amendment |
2017.05.08 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2017-0436013-32 |
8 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 [Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation) |
2017.05.08 | 수리 (Accepted) | 1-1-2017-0435994-17 |
9 | 등록결정서 Decision to grant |
2017.08.28 | 발송처리완료 (Completion of Transmission) | 9-5-2017-0600141-73 |
10 | 출원인정보변경(경정)신고서 Notification of change of applicant's information |
2019.08.16 | 수리 (Accepted) | 4-1-2019-5163486-33 |
번호 | 청구항 |
---|---|
1 |
1 사용자의 실제 드로잉(drawing) 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하는 단계;사용자의 드로잉 모션(drawing motion)을 입력받고, 입력된 상기 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하는 단계;인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하는 단계; 및상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 단계를 포함하되,상기 사용자의 드로잉 패턴을 미리 학습하는 단계는,깊이 카메라를 이용하여 상기 사용자의 실제 드로잉에 대한 3차원 영상을 획득하는 단계;상기 사용자의 손에 부착된 근전도(electromyogram, EMG) 센서를 이용하여 상기 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하고 드로잉 수단의 필압으로 변환하는 단계; 및획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장하는 단계를 포함하는 것을 특징으로 하는 드로잉 영상 처리 방법 |
2 |
2 삭제 |
3 |
3 제 1 항에 있어서,상기 사용자의 드로잉 패턴은,실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함하는 것을 특징으로 하는 드로잉 영상 처리 방법 |
4 |
4 제 1 항에 있어서,상기 사용자의 드로잉 패턴은,상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장되는 것을 특징으로 하는 드로잉 영상 처리 방법 |
5 |
5 제 1 항에 있어서,상기 드로잉 수단의 움직임을 인식하는 단계는,깊이 카메라를 이용하여 입력된 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하는 단계; 및추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출하는 단계를 포함하는 드로잉 영상 처리 방법 |
6 |
6 제 5 항에 있어서,상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며,상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 단계를 더 포함하는 드로잉 영상 처리 방법 |
7 |
7 제 1 항에 있어서,상기 스트로크 정보를 독출하는 단계는,인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하는 단계; 및미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환하는 단계를 포함하는 드로잉 영상 처리 방법 |
8 |
8 제 1 항에 있어서,디스플레이 수단을 이용하여 가상의 캔버스 공간을 출력하되, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시하는 단계를 더 포함하는 드로잉 영상 처리 방법 |
9 |
9 제 1 항, 제 3 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
10 |
10 사용자의 실제 드로잉(drawing) 영상 또는 사용자의 드로잉 모션(drawing motion)을 입력받는 깊이 카메라;사용자의 손에 부착되어 사용자의 실제 드로잉에 대응하는 손의 압력을 측정하는 근전도(electromyogram, EMG) 센서;사용자의 드로잉 모션에 대응하는 드로잉 영상을 생성하는 프로그램을 저장하는 메모리; 및상기 드로잉 영상을 생성하는 프로그램을 구동하는 프로세서를 포함하되,상기 메모리에 저장된 프로그램은,사용자의 실제 드로잉 영상과 드로잉 중 손의 압력을 입력받아 상기 사용자의 드로잉 패턴을 미리 학습하고, 사용자의 드로잉 모션을 입력받아 사용자가 쥐고 있는 드로잉 수단의 움직임을 인식하고, 인식된 상기 드로잉 수단의 움직임을 미리 학습된 상기 드로잉 패턴과 매칭하여 스트로크(stroke) 정보를 독출하며, 상기 사용자의 드로잉 모션에 대응하여 상기 스트로크 정보에 대응하는 드로잉 영상을 실시간으로 출력하는 명령어를 포함하며,상기 사용자의 실제 드로잉 영상에 대한 3차원 영상을 획득하고, 상기 손의 압력을 드로잉 수단의 필압으로 변환하며, 획득된 상기 3차원 영상에 따른 드로잉 수단의 상태 값, 움직임, 속도 및 필압을 매칭하되 해당 시점의 스트로크 형태와 함께 저장함으로써, 상기 사용자의 드로잉 패턴을 미리 학습하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
11 |
11 삭제 |
12 |
12 제 10 항에 있어서,상기 사용자의 드로잉 패턴은,실제 드로잉에 대한 복수 개의 프레임(frame)별로 저장되며, 각 프레임에 포함된 드로잉 수단의 상태 값과 필압의 시계열적인 변화를 포함하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
13 |
13 제 10 항에 있어서,상기 사용자의 드로잉 패턴은,상기 드로잉 수단의 상태 값, 움직임, 속도 및 필압 중 적어도 둘 이상의 조합하여 상기 사용자에 대한 고유의 식별 정보로서 개인 사용자별로 차별화되어 저장되는 것을 특징으로 하는 드로잉 영상 처리 장치 |
14 |
14 제 10 항에 있어서,상기 메모리에 저장된 프로그램은,상기 사용자의 드로잉 모션으로부터 사용자가 쥐고 있는 드로잉 수단에 대한 3차원 영상 및 2차원 영상을 각각 추출하고, 추출된 상기 3차원 영상 및 상기 2차원 영상을 매칭하여 상기 드로잉 수단의 기울어진 각도, 상기 드로잉 수단과 가상의 캔버스(canvas)에 대응하는 평면과의 접촉 여부 및 거리를 산출함으로써, 상기 드로잉 수단의 움직임을 인식하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
15 |
15 제 14 항에 있어서,상기 드로잉 수단은 펜(pen) 또는 붓(brush)의 형태를 가지며,상기 메모리에 저장된 프로그램은, 상기 드로잉 수단에 대한 2차원 영상 내에 포함된 고유 정보를 이용하여 상기 드로잉 수단의 종류를 식별하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
16 |
16 제 10 항에 있어서,상기 메모리에 저장된 프로그램은,인식된 상기 드로잉 수단의 움직임으로부터 드로잉 수단의 상태 값, 움직임 및 속도 중 적어도 둘 이상 모션 정보를 산출하고, 미리 학습된 상기 드로잉 패턴으로부터 상기 산출된 모션 정보에 매칭되는 값을 검색하여 필압이 반영된 스트로크(stroke) 정보를 반환함으로써, 상기 스트로크 정보를 독출하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
17 |
17 제 10 항에 있어서,가상의 캔버스 공간을 출력하는 디스플레이 수단을 더 포함하되,상기 디스플레이 수단은, 상기 실시간으로 출력되는 드로잉 영상을 상기 가상의 캔버스 공간 내에 표시하는 것을 특징으로 하는 드로잉 영상 처리 장치 |
지정국 정보가 없습니다 |
---|
순번 | 패밀리번호 | 국가코드 | 국가명 | 종류 |
---|---|---|---|---|
1 | WO2017213307 | WO | 세계지적재산권기구(WIPO) | FAMILY |
순번 | 패밀리번호 | 국가코드 | 국가명 | 종류 |
---|---|---|---|---|
1 | WO2017213307 | WO | 세계지적재산권기구(WIPO) | DOCDBFAMILY |
순번 | 연구부처 | 주관기관 | 연구사업 | 연구과제 |
---|---|---|---|---|
1 | 미래창조과학부 | 동국대학교 산학협력단 | 대학IT연구센터육성지원사업(ITRC) | 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발 |
공개전문 정보가 없습니다 |
---|
특허 등록번호 | 10-1775080-0000 |
---|
표시번호 | 사항 |
---|---|
1 |
출원 연월일 : 20160607 출원 번호 : 1020160070503 공고 연월일 : 20170905 공고 번호 : 특허결정(심결)연월일 : 20170828 청구범위의 항수 : 15 유별 : G06T 11/80 발명의 명칭 : NUI/NUX에 기반하여 드로잉 영상을 처리하는 장치 및 방법 존속기간(예정)만료일 : |
순위번호 | 사항 |
---|---|
1 |
(권리자) 동국대학교 산학협력단 서울특별시 중구... |
제 1 - 3 년분 | 금 액 | 315,000 원 | 2017년 08월 31일 | 납입 |
제 4 년분 | 금 액 | 185,000 원 | 2020년 08월 03일 | 납입 |
번호 | 서류명 | 접수/발송일자 | 처리상태 | 접수/발송번호 |
---|---|---|---|---|
1 | [특허출원]특허출원서 | 2016.06.07 | 수리 (Accepted) | 1-1-2016-0546394-79 |
2 | 선행기술조사의뢰서 | 2016.10.11 | 수리 (Accepted) | 9-1-9999-9999999-89 |
3 | 선행기술조사보고서 | 2016.12.09 | 발송처리완료 (Completion of Transmission) | 9-6-2017-0012700-83 |
4 | 의견제출통지서 | 2017.01.20 | 발송처리완료 (Completion of Transmission) | 9-5-2017-0054858-82 |
5 | [지정기간연장]기간연장(단축, 경과구제)신청서 | 2017.03.20 | 수리 (Accepted) | 1-1-2017-0271227-25 |
6 | [지정기간연장]기간연장(단축, 경과구제)신청서 | 2017.04.20 | 수리 (Accepted) | 1-1-2017-0389347-84 |
7 | [명세서등 보정]보정서 | 2017.05.08 | 보정승인간주 (Regarded as an acceptance of amendment) | 1-1-2017-0436013-32 |
8 | [거절이유 등 통지에 따른 의견]의견(답변, 소명)서 | 2017.05.08 | 수리 (Accepted) | 1-1-2017-0435994-17 |
9 | 등록결정서 | 2017.08.28 | 발송처리완료 (Completion of Transmission) | 9-5-2017-0600141-73 |
10 | 출원인정보변경(경정)신고서 | 2019.08.16 | 수리 (Accepted) | 4-1-2019-5163486-33 |
기술정보가 없습니다 |
---|
과제고유번호 | 1711035232 |
---|---|
세부과제번호 | H8501-16-1014 |
연구과제명 | 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발 |
성과구분 | 출원 |
부처명 | 미래창조과학부 |
연구관리전문기관명 | |
연구주관기관명 | |
성과제출연도 | 2016 |
연구기간 | 201601~201612 |
기여율 | 1 |
연구개발단계명 | 기초연구 |
6T분류명 | IT(정보기술) |
과제고유번호 | 1711035232 |
---|---|
세부과제번호 | H8501-16-1014 |
연구과제명 | 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발 |
성과구분 | 등록 |
부처명 | 미래창조과학부 |
연구관리전문기관명 | |
연구주관기관명 | |
성과제출연도 | 2016 |
연구기간 | 201601~201612 |
기여율 | 1 |
연구개발단계명 | 기초연구 |
6T분류명 | IT(정보기술) |
[1020160182702] | 투명 디스플레이 기반의 지능화 상품 전시 시스템 및 그 방법 | 새창보기 |
---|---|---|
[1020160181518] | 성별 인식 장치 및 방법 | 새창보기 |
[1020160169533] | 문자 입력 방법 및 이를 수행하기 위한 장치 | 새창보기 |
[1020160167635] | 회선 신경망 기반 눈 개폐 분류 장치 및 방법 | 새창보기 |
[1020160166299] | 객체 영역 추출 방법 및 그 장치 | 새창보기 |
[1020160164627] | 도로 표지 인식 장치 및 방법 | 새창보기 |
[1020160161791] | 유아 지능 계발을 위한 교육 시스템 및 그 운영방법 | 새창보기 |
[1020160160108] | 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법 | 새창보기 |
[1020160151281] | 군집비행의 포메이션을 유지하기 위한 드론 및 그 방법(DRONE FOR MAINTAINING FORMATION OF SWARM FLIGHT AND METHOD THEREOF) | 새창보기 |
[1020160151279] | 드론을 제어하기 위한 시스템 및 방법(SYSTEM AND METHOD FOR CONTROL OF DRONE) | 새창보기 |
[1020160149842] | 공포심리 평가 장치 및 방법 | 새창보기 |
[1020160145737] | 실내 공간에서 드론을 이용한 위치 추정 장치 및 그 방법(APPARATUS FOR ESTIMATING INDOOR POSITION USING DRONE AND METHOD THEREOF) | 새창보기 |
[1020160141360] | 행위 인식 장치 및 방법 | 새창보기 |
[1020160135248] | 영상 특징맵 생성 장치 및 방법(APPARATUS AND METHOD OF IMAGE SALIENCY MAP) | 새창보기 |
[1020160132680] | 스펙트로그램을 이용한 온라인 오디오 장르 분류 방법(A METHOD FOR ON-LINE AUDIO GENRE CLASSIFICATION USING SPECTROGRAM) | 새창보기 |
[1020160129075] | 멀티 드론 제어 시스템 및 방법(SYSTEM AND METHOD FOR CONTROL OF MULTI DRONE) | 새창보기 |
[1020160099169] | 공포 심리 분석 시스템 및 방법(System and method for fear mentality analysis) | 새창보기 |
[1020160097396] | 시선 추적 장치 및 방법 | 새창보기 |
[1020160070503] | NUI/NUX에 기반하여 드로잉 영상을 처리하는 장치 및 방법 | 새창보기 |
[KST2014042989][동국대학교] | 가변 스크롤을 지원하는 포인팅 장치 | 새창보기 |
---|---|---|
[KST2017015027][동국대학교] | 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법(Apparatus and method for evaluating Taekwondo motion using multi-directional recognition) | 새창보기 |
[KST2015188579][동국대학교] | 영상 인식 기반의 주차장의 빈 주차면 인식 장치 및 방법 | 새창보기 |
[KST2015188197][동국대학교] | 프로젝터를 이용한 터치 스크린 장치 및 그 터치 스크린 장치의 터치 위치 검출방법 | 새창보기 |
[KST2017012895][동국대학교] | 헤드램프(Head lamp) | 새창보기 |
[KST2018010994][동국대학교] | 뇌파를 이용한 게임 장치 및 방법 | 새창보기 |
[KST2018012446][동국대학교] | 환자 참여형 실시간 전자의무기록 방법 및 시스템 | 새창보기 |
[KST2018016172][동국대학교] | CNN 기반 지정맥 인식 장치 및 인식 방법 | 새창보기 |
[KST2015188169][동국대학교] | 지문 및 정맥 정보 검출 장치 | 새창보기 |
[KST2015188604][동국대학교] | 시선 추적 장치 및 방법 | 새창보기 |
[KST2015231050][동국대학교] | 얼굴 인식 장치 및 방법(DEVICE AND METHOD FOR FACE RECOGNITION) | 새창보기 |
[KST2016017878][동국대학교] | 얼굴 영상 기반 성별 인식 방법 및 장치(METHOD AND COMPUTING DEVICE FOR GENDER RECOGNITION BASED ON FACIAL IMAGE) | 새창보기 |
[KST2015188525][동국대학교] | 인터페이스 시스템 및 방법 | 새창보기 |
[KST2015188461][동국대학교] | 가상화 환경에서 NUI 및 NUX를 시뮬레이션하는 방법 및 장치 | 새창보기 |
[KST2014029178][동국대학교] | 고글 타입의 착용형 시선 추적 장치 및 방법 | 새창보기 |
[KST2014029503][동국대학교] | 스마트폰 증강현실과 환경내재형 부가정보 서버를 이용한 온라인/ 오프라인 편재형 게임시스템 및 방법 | 새창보기 |
[KST2015188592][동국대학교] | 대화형 로봇 장치 및 그 제어방법 | 새창보기 |
[KST2015188512][동국대학교] | NUI 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | 새창보기 |
[KST2018005016][동국대학교] | 스마트 테이블(SMART TABLE) | 새창보기 |
[KST2019019648][동국대학교] | 보행자 검출 장치 및 방법 | 새창보기 |
[KST2019014144][동국대학교] | 번들 조정 알고리즘을 이용한 립모션과 HMD 사이의 캘리브레이션 방법 및 장치 | 새창보기 |
[KST2016016912][동국대학교] | 나이 추정 장치 및 방법(DEVICE AND METHOD FOR HUMAN AGE ESTIMATION) | 새창보기 |
[KST2016017879][동국대학교] | 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치(METHOD AND COMPUTING DEVICE FOR GENDER RECOGNITION BASED ON LONG DISTANCE VISIBLE LIGHT IMAGE AND THERMAL IMAGE) | 새창보기 |
[KST2018008236][동국대학교] | 문자 입력 방법 및 이를 수행하기 위한 장치 | 새창보기 |
[KST2014029176][동국대학교] | 지정맥 인식을 이용한 바이오 인식 방법 | 새창보기 |
[KST2018005017][동국대학교] | 저가형 관성센서를 이용한 모션 인식 시스템 및 그 방법(THE SYSTEM AND METHOD FOR DETECTING MOTION USING LOW-COST INERTIAL SENSOR) | 새창보기 |
[KST2016016609][동국대학교] | 눈 개폐 분류 장치 및 방법(DEVICE AND METHOD FOR CLASSIFYING OPEN AND CLOSE EYES) | 새창보기 |
[KST2014043107][동국대학교] | 마우스 포인터 위치 표시 장치 및 방법 그리고 그를 위한 프로그램을 기록한 기록 매체 | 새창보기 |
[KST2014042832][동국대학교] | 마우스 포인터 제어 방법 및 장치와 그 장치를 구비한 디스플레이 | 새창보기 |
[KST2015188657][동국대학교] | 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법 | 새창보기 |
심판사항 정보가 없습니다 |
---|