맞춤기술찾기

이전대상기술

깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를이용한 촉각 방송 시스템

  • 기술번호 : KST2015174009
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다. 더욱 상세하게는, 깊이 정보를 포함하는 깊이 영상을 기반으로 하여 현재 시각의 영상 정보와 다음번의 영상 정보를 이용하여 햅틱 정보를 제시하기 위한 햅틱 렌더링시에 설정된 중간 표면의 높이 변화에 따라 프록시의 위치를 업데이트한 후 충돌 검출 및 반력 계산을 수행하는 햅틱 렌더링 방법과 이를 위한 장치, 및 이를 이용한 촉각 방송 시스템에 관한 것이다. 본 발명은, 깊이 정보를 포함하는 깊이 영상을 기반으로 한 햅틱 렌더링 방법에 있어서, (a) 현재 깊이 영상의 정보와 다음번 깊이 영상의 정보를 저장하는 단계; (b) 상기 현재 깊이 영상의 정보와 상기 다음번 깊이 영상의 정보를 이용하여 현재 시각(t)에서의 중간 표면의 깊이값을 결정하고, 햅틱 렌더링 간격(Δth) 동안 상기 중간 표면의 깊이값의 변화량에 따라 프록시를 1차 업데이트시키는 단계; 및 (c) 1차 업데이트된 프록시와 상기 중간 표면을 이용하여 HIP의 충돌 여부를 검출하고, 반력을 계산하는 단계를 포함하는 깊이 영상 기반의 햅틱 렌더링 방법과 그 장치 및 이를 이용한 촉각 방송 시스템을 제공한다.깊이 영상, 햅틱, 촉각, 방송, 프록시, HIP, 실감 방송, 햅틱 렌더링
Int. CL G06T 15/10 (2011.01) H04N 13/02 (2011.01)
CPC G06T 15/205(2013.01) G06T 15/205(2013.01) G06T 15/205(2013.01) G06T 15/205(2013.01) G06T 15/205(2013.01) G06T 15/205(2013.01)
출원번호/일자 1020060076705 (2006.08.14)
출원인 광주과학기술원
등록번호/일자 10-0761022-0000 (2007.09.17)
공개번호/일자
공고번호/일자 (20070921) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 소멸
심사진행상태 수리
심판사항
구분
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2006.08.14)
심사청구항수 27

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 광주과학기술원 대한민국 광주광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 차종은 대한민국 광주 북구
2 류제하 대한민국 광주 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이용진 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)(특허법인우인)
2 최성우 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)(특허법인우인)
3 이경호 대한민국 서울특별시 강남구 테헤란로*길 ** (역삼동, 한국과학기술회관 신관 *층 ***호)(위너스국제특허법률사무소)
4 지현수 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)(특허법인우인)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 광주과학기술원 광주광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 특허출원서
Patent Application
2006.08.14 수리 (Accepted) 1-1-2006-0578995-47
2 선행기술조사의뢰서
Request for Prior Art Search
2007.05.07 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2007.06.12 수리 (Accepted) 9-1-2007-0032544-18
4 등록결정서
Decision to grant
2007.06.27 발송처리완료 (Completion of Transmission) 9-5-2007-0353554-42
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2011.09.15 수리 (Accepted) 4-1-2011-5187089-85
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
깊이 정보를 포함하는 깊이 영상을 기반으로 한 햅틱 렌더링 방법에 있어서,(a) 현재 깊이 영상의 정보와 다음번 깊이 영상의 정보를 저장하고, 상기 현재 깊이 영상에 대한 상기 다음번 깊이 영상의 그래픽 업데이트 간격(Δtg)을 결정하는 단계;(b) 상기 현재 깊이 영상의 정보와 상기 다음번 깊이 영상의 정보를 이용하여 현재 시각(t)에서의 중간 표면의 깊이값을 결정하고, 햅틱 렌더링 간격(Δth) 동안 상기 중간 표면의 깊이값의 변화에 따라 프록시를 1차 업데이트시키는 단계; 및(c) 1차 업데이트된 프록시와 상기 중간 표면을 이용하여 햅틱 인터랙션 포인트(Haptic Interaction Point, 이하 ''HIP''라 함)의 충돌 여부를 검출하고, 충돌이 검출된 경우 반력을 계산하는 단계를 포함하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
2 2
제 1 항에 있어서, (d) 상기 현재 시각이 상기 다음번 깊이 영상의 시간 정보에 따른 시각을 초과한 경우 상기 현재 시각의 깊이 영상 정보와 상기 다음번 깊이 영상 정보를 각각 갱신하는 단계를 추가로 포함하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
3 3
제 1 항에 있어서, 상기 (b) 단계는, 상기 그래픽 업데이트 간격(Δtg)에 따른 상기 현재 깊이 영상의 깊이값(z(tgc))과 상기 다음번 깊이 영상의 깊이값(z(tgn)의 차이를 Δzg, 햅틱 렌더링을 수행하는 상기 현재 시각(t)과 상기 현재 깊이 영상의 시간 정보(tgc)의 차를 Δthg, 상기 Δthg에 따른 높이 변화량을 Δzhg라 할 경우, 상기 중간 표면의 깊이값(z(t))은, 인 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
4 4
제 3 항에 있어서, 상기 1차 업데이트되는 프록시의 위치 변화량은, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
5 5
제 1 항에 있어서, 상기 (b) 단계에서, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
6 6
제 1 항에 있어서, 상기 (b) 단계와 상기 (c)단계는, 햅틱 렌더링이 수행되는 시점의 상기 HIP와 그 이전 시점의 상기 프록시를 연결한 라인 선분을 상기 깊이 영상의 2D 화면에 투영시켜 생성된 라인 선분이 접하는 픽셀에 대해서만 수행하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
7 7
제 6 항에 있어서, 상기 라인 선분의 깊이값보다 작은 픽셀에 대해서는 상기 (b) 단계 또는 상기 (c) 단계를 수행하지 않는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
8 8
제 1 항에 있어서, 상기 (b) 단계에 따라 1차 업데이트되는 상기 프록시의 높이 변화가 급격하게 이루어지는 경우, 새롭게 설정되는 프록시의 위치를 상기 HIP와 일치시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
9 9
제 1 항에 있어서, 상기 (c) 단계에 따라 계산되는 반력이 일정치를 초과하는 경우 그 반력을 영(zero)으로 하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 방법
10 10
전송된 깊이 영상을 처리하여 상기 깊이 영상 내의 가상 객체와 햅틱 인터페이스 디바이스의 프로브의 충돌 여부를 검출하고 반력을 계산하는 햅틱 렌더링 장치에 있어서, 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14);다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16);충돌 여부를 검출하고 반력 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌 여부를 검출하는 햅틱 연산부(18);상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및상기 각 구성요소의 작동을 제어하는 주제어부(12)를 포함하는 것을 특징으로 하는 햅틱 렌더링 장치
11 11
제 10 항에 있어서, 상기 햅틱 연산부(18)는, 상기 그래픽 업데이트 간격(Δtg)에 따른 상기 현재 깊이 영상의 깊이값(z(tgc))과 상기 다음번 깊이 영상의 깊이값(z(tgn)의 차이를 Δzg, 햅틱 렌더링을 수행하는 상기 현재 시각(t)과 상기 현재 깊이 영상의 시간 정보(tgc)의 차를 Δthg, 상기 Δthg에 따른 높이 변화량을 Δzhg라 할 경우, 상기 중간 표면의 깊이값(z(t))은, 에 의해 결정하는 것을 특징으로 하는 햅틱 렌더링 장치
12 12
제 11 항에 있어서, 상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 장치
13 13
제 10 항에 있어서, 상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 깊이 영상 기반의 햅틱 렌더링 장치
14 14
제 10 항에 있어서, 상기 햅틱 연산부(18)는, 햅틱 렌더링이 수행되는 현재 시각(t)의 햅틱 인터랙션 포인트(HIP)와, 상기 1차 업데이트된 프록시를 연결한 라인 선분을 상기 깊이 영상의 2D 화면에 투영시켜 생성된 라인 선분이 접하는 픽셀에 대해서만 충돌 검출을 수행하는 것을 특징으로 하는 햅틱 렌더링 장치
15 15
제 10 항에 있어서, 상기 1차 업데이트된 프록시의 높이 변화가 급격하게 이루어지는 경우, 상기 햅틱 연산부(18)는 새롭게 설정되는 프록시의 위치를 상기 HIP와 일치시키는 것을 특징으로 하는 햅틱 렌더링 장치
16 16
제 10 항에 있어서, 상기 햅틱 연산부(18)에서 계산된 반력이 일정치를 초과할 경우 상기 디바이스 제어부(20)는 상기 햅틱 인터페이스 디바이스(30)에 힘을 전달하지 않는 것을 특징으로 하는 햅틱 렌더링 장치
17 17
영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템에 있어서, 깊이 영상과 컬러 영상을 획득하는 영상 획득 장치(102), 상기 영상 획득 장치(102)에서 획득된 영상을 깊이 영상과 컬러 영상으로 분배하는 영상 분배기(104), 상기 깊이 영상을 영상 기반 모델링 기법을 이용하여 처리하는 깊이 영상 처리기(106), 상기 컬러 영상을 전송하기 위한 형태로 변환하는 컬러 영상 처리기(108), 상기 깊이 영상 처리기(106)와 상기 컬러 영상 처리기(108)에서 처리된 정보를 인코딩하는 인코더(110), 및 상기 인코더(110)에서 처리된 신호를 먹싱하는 멀티플렉서(116)를 포함하는 송신측;상기 송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 수신측; 및상기 송신측과 수신측을 연결하는 전송 채널(118)을 포함하는 촉각 방송 시스템
18 18
제 17 항에 있어서, 상기 햅틱 렌더링 장치(10)는, 상기 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14);상기 다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16);상기 충돌 검출과 상기 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌을 검출하는 햅틱 연산부(18);상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및상기 각 구성요소의 작동을 제어하는 주제어부(12)를 포함하는 것을 특징으로 하는 촉각 방송 시스템
19 19
제 18 항에 있어서, 상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 촉각 방송 시스템
20 20
제 18 항에 있어서, 상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 촉각 방송 시스템
21 21
제 17 항 내지 20 항 중 어느 한 항에 있어서, 상기 영상 획득 장치(102)는 깊이 정보와 컬러 영상을 동시에 획득하는 카메라 또는 깊이 영상 렌더링 장치 중 어느 하나인 것을 특징으로 하는 촉각 방송 시스템
22 22
제 17 항 내지 20 항 중 어느 한 항에 있어서, 상기 인코더(110)는 상기 깊이 정보를 인코딩하는 제 1 인코더(112)와 상기 컬러 영상을 인코딩하는 제 2 인코더(114)로 이루어지며, 상기 디코더(122)는 상기 깊이 정보를 디코딩하는 제 1 디코더(124)와 상기 컬러 영상을 디코딩하는 제 2 디코더(126)를 포함하여 이루어지는 것을 특징으로 하는 촉각 방송 시스템
23 23
제 17 항 내지 20 항 중 어느 한 항에 있어서, 상기 인코더(110)와 상기 디코더(122)의 코딩은 MPEG-4의 H
24 24
영상 정보와 이에 따른 햅틱 정보를 동시에 전달하기 위한 촉각 방송 시스템의 수신기에 있어서, 송신측에서 전송된 신호를 디먹싱하는 디멀티플렉서(120), 디멀티플레서(120)에서 디먹싱된 신호를 디코딩하는 디코더(122), 디코딩된 신호를 합성하는 영상 합성기(128), 디스플레이(132)에 영상을 디스플레이하도록 렌더링하는 그래픽 렌더링 장치(130), 및 현재 깊이 영상과 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 프록시의 위치를 업데이트시키고 이에 따른 충돌 검출과 반력 계산을 수행하여 햅틱 인터페이스 디바이스(30)에 햅틱 정보를 제공하는 햅틱 렌더링 장치(10)를 포함하는 것을 특징으로 하는 촉각 방송 시스템의 수신기
25 25
제 24 항에 있어서, 상기 햅틱 렌더링 장치(10)는, 상기 현재 깊이 영상을 임시 저장하는 제 1 영상 버퍼(14); 상기 다음번 깊이 영상을 임시 저장하는 제 2 영상 버퍼(16); 상기 충돌 검출과 상기 계산을 수행하되, 상기 제 1 영상 버퍼(14)에 저장된 상기 현재 깊이 영상과 상기 제 2 영상 버퍼(16)에 저장된 상기 다음번 깊이 영상을 이용하여 매 햅틱 이터레이션마다 변화되는 중간 표면을 설정하고, 상기 중간 표면의 깊이 변화에 따라 프록시의 위치를 1차 업데이트시켜 충돌을 검출하는 햅틱 연산부(18); 상기 햅틱 인터페이스 디바이스(30)를 제어하기 위한 디바이스 제어부(20); 및 상기 각 구성요소의 작동을 제어하는 주제어부(12)를 포함하여 이루어지는 것을 특징으로 하는 촉각 방송 시스템의 수신기
26 26
제 25 항에 있어서, 상기 햅틱 연산부(18)는, 상기 1차 업데이트되는 프록시의 위치 변화량을, 상기 중간 표면을 나타내는 삼각 메쉬의 세 꼭지점의 높이 변화량의 평균값 또는 최고값인 것으로 결정하는 것을 특징으로 하는 촉각 방송 시스템의 수신기
27 27
제 25 항에 있어서, 상기 햅틱 연산부(18)는, 상기 프록시를 깊이 방향으로 이동시켜 상기 중간 표면과 충돌하는 지점으로 상기 프록시를 1차 업데이트시키는 것을 특징으로 하는 촉각 방송 시스템의 수신기
지정국 정보가 없습니다
패밀리정보가 없습니다
국가 R&D 정보가 없습니다.