| 1 |
1
가상 객체를 선택하기 위한 니어 아이 디스플레이 장치로서,좌측 및 우측 영상을 각각 표시하는 제1 영상 표시부 및 제2 영상 표시부;좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 제1 영상 취득부 및 제2 영상 취득부;사용자의 손 영상을 취득하는 제3 영상 취득부;상기 제1 영상 표시부, 상기 제2 영상 표시부, 상기 제1 영상 취득부, 상기 제2 영상 취득부 및 상기 제3 영상 취득부를 고정하는 고정부;상기 좌측 눈 영상 및 우측 눈 영상을 이용하여, 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 눈 영상 처리부; 상기 사용자의 손 영상을 이용하여, 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 손 영상 처리부; 및 상기 눈 정보 및 상기 손 정보를 결합하여, 가상 객체를 선택하는 가상 객체 선택부를 포함하되,상기 손 영상 처리부는,상기 제3 영상 취득부에서 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출부;상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산부;상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출부; 및상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출부를 더 포함하되, 가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산하는, 니어 아이 디스플레이 장치
|
| 2 |
2
제1항에 있어서, 상기 눈 영상 처리부는,상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출부;상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산부;상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산부; 및상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정부를 포함하는, 니어 아이 디스플레이 장치
|
| 3 |
3
제2항에 있어서, 상기 반사광 및 동공 영역 검출부는,조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출부를 포함하는, 니어 아이 디스플레이 장치
|
| 4 |
4
제2항에 있어서, 상기 반사광 및 동공 영역 검출부는,상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단부를 포함하되,사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지하는, 니어 아이 디스플레이 장치
|
| 5 |
5
제2항에 있어서, 상기 시선 위치 계산부는,상기 제1 영상 표시부 및 상기 제2 영상 표시부에 출력되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 수행부를 포함하는, 니어 아이 디스플레이 장치
|
| 6 |
6
제5항에 있어서, 상기 관심영역 설정부는, 상기 계산된 시선 위치를 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선 오차 계산부를 포함하되, 상기 관심영역을 설정할 경우 상기 시선 오차를 고려하는, 니어 아이 디스플레이 장치
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
제1항에 있어서, 상기 제1 영상 취득부 및 상기 제2 영상 취득부는,외부광의 간섭 노이즈를 방지하기 위한 적외선 광학장치, 적외선 조명 및 적외선 투과 필터 중 적어도 하나를 사용하는, 니어 아이 디스플레이 장치
|
| 10 |
10
제1항 내지 제6항 및 제9항 중 어느 한 항에 있어서, 상기 장치는,헤드 마운티드 디스플레이(HMD, Head Mounted Display) 장치 또는 시스루 디스플레이(See-through display) 장치인, 니어 아이 디스플레이 장치
|
| 11 |
11
제1항 내지 제6항 및 제9항 중 어느 한 항에 있어서, 상기 고정부는,안경 또는 고글 형태의 프레임인, 니어 아이 디스플레이 장치
|
| 12 |
12
니어 아이 디스플레이 장치를 이용하여 가상 객체를 선택하는 방법으로서,사용자의 좌측 눈 영상 및 우측 눈 영상을 각각 취득하는 단계;상기 사용자의 좌측 눈 영상 및 우측 눈 영상을 이용하여 동공 중심 및 시선 위치를 포함하는 눈 정보를 획득하는 단계;사용자의 손 영상을 취득하는 단계;상기 사용자의 손 영상을 이용하여 손 영역 및 가상 객체의 가림 정도를 포함하는 손 정보를 획득하는 단계; 및상기 눈 정보 및 상기 손 정보를 결합하여 가상 객체를 선택하는 단계를 포함하되,상기 손 정보를 획득하는 단계는,상기 취득한 손 영상에서 손 영역을 검출하는 손 영역 검출 단계;상기 검출된 손 영역이 가상 객체를 가리는 정도를 계산하는 가상 객체 가림 계산 단계;상기 검출된 손 영역에서 손가락 영역을 검출하는 손가락 영역 검출 단계; 및상기 검출된 손 영역 및 손가락 영역을 이용하여 파지 방법을 검출하는 파지 방법 검출 단계를 더 포함하되,가상 객체를 선택할 경우 상기 파지 방법에 따라 손가락 가중치를 계산하는, 가상 객체를 선택하는 방법
|
| 13 |
13
제12항에 있어서, 상기 눈 정보를 획득하는 단계는,상기 취득한 눈 영상에서 조명에 의한 반사광 및 동공 영역을 검출하는 반사광 및 동공 영역 검출 단계;상기 검출한 반사광 및 동공 영역을 이용하여 반사광 및 동공 중심을 계산하는 반사광 및 동공 중심 계산 단계;상기 계산된 반사광 및 동공 중심을 이용하여 사용자의 시선 위치를 계산하는 시선 위치 계산 단계; 및상기 계산된 사용자의 시선 위치를 기반으로 사용자의 관심영역을 설정하는 관심영역 설정 단계를 포함하는, 가상 객체를 선택하는 방법
|
| 14 |
14
제13항에 있어서, 상기 반사광 및 동공 영역 검출 단계는,조명에 의한 반사광이 생기지 않는 경우, 적외선 반사 테이프를 이용하여 생성된 반사광 또는 눈 꼬리의 반사광 대체 특징을 검출하는 반사광 대체 특징 검출 단계를 포함하는, 가상 객체를 선택하는 방법
|
| 15 |
15
제13항에 있어서, 상기 반사광 및 동공 영역 검출 단계는,상기 동공 영역을 검출하여 사용자가 눈을 감았는지 여부를 판단하는 눈 깜박임 판단 단계를 포함하되,사용자가 눈을 감은 상태에서는 시스템 부하를 줄이기 위해 이어지는 프로세스를 중지하는, 가상 객체를 선택하는 방법
|
| 16 |
16
제13항에 있어서, 상기 시선 위치 계산 단계는,상기 니어 아이 디스플레이 장치에 표시되는 1 내지 N 개의 참조 포인트를 응시하여 측정된 동공 움직임을 사용자의 시선과 비교하는 캘리브레이션 단계를 포함하는, 가상 객체를 선택하는 방법
|
| 17 |
17
제16항에 있어서, 상기 관심영역 설정 단계는,상기 계산된 시선 위치를 캘리브레이션 수행 결과와 비교하여 시선 오차를 계산하는 시선오차 계산 단계를 포함하되, 상기 관심영역을 설정할 경우 상기 시선 오차를 고려하는, 가상 객체를 선택하는 방법
|
| 18 |
18
삭제
|
| 19 |
19
삭제
|
| 20 |
20
제12항 내지 제17항 중 어느 하나의 청구항에 따라 가상 객체를 선택하는 방법을 수행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터로 판독 가능한 기록 매체
|
