| 1 |
1
화면에 3D 영상을 표시하는 표시부;상기 화면에 표시되는 작업 장치의 작업 영역을 감지하는 제1 3D 센서;상기 제1 3D 센서의 감지 결과에 따른 제1 3D 영상 중 상기 작업 장치에 의해 가려지는 작업 영역을 감지하는 제2 3D 센서;상기 화면을 응시하는 눈동자의 위치와 시선 방향을 감지하는 시선 방향 감지 센서; 및상기 제1 3D 영상에 상기 제2 3D 센서를 제어하여 감지한 결과에 따른 제2 3D 영상을 합성하여 상기 제1 3D 영상에서 상기 작업 장치를 투명화하고, 상기 눈동자의 위치와 시선 방향에 맞게 상기 제1 3D 영상의 표시 시점을 결정하여 상기 제1 3D 영상을 기준으로 상기 작업 장치를 투명화한 합성 영상을 상기 화면에 표시하는 제어부;를 포함하고,상기 제어부는,상기 시선 방향 감지 센서의 설치 위치에 따른 3차원 위치 정보 및 상기 시선 방향 감지 센서의 감지 자세 정보를 고려하여 상기 시선 방향 감지 센서의 외부 파라미터를 추출하고, 상기 제1 3D 영상에서 추출한 영상 특징점과 시선 방향 감지 센서를 제어하여 감지한 결과에 따른 제3 3D 영상에서 추출한 영상 특징점을 매칭하여 상기 시선 방향 감지 센서의 외부 파라미터를 보정하며, 보정된 상기 시선 방향 감지 센서의 외부 파라미터를 이용해 상기 제1 3D 영상과 상기 제3 3D 영상 사이의 좌표변환 행렬을 연산하여 상기 제1 3D 영상의 좌표와 상기 제3 3D 영상의 좌표를 매칭함으로써 상기 제1 3D 영상의 좌표계에서의 상기 눈동자의 위치를 판단하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 장치
|
| 2 |
2
제1항에 있어서,상기 제2 3D 센서는,상기 작업 장치의 작업용 팔(arm)에서 상기 제1 3D 센서의 설치 위치와 반대되는 방향에 설치되어 위치하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 장치
|
| 3 |
3
제2항에 있어서,상기 제어부는,상기 작업용 팔의 동작 상태와 상기 작업용 팔에서의 상기 제2 3D 센서의 설치 위치에 따른 3차원 위치 정보, 상기 제2 3D 센서의 감지 자세 정보를 고려하여 상기 제2 3D 센서의 외부 파라미터(extrinsic parameter)를 추출하고, 상기 제1 3D 영상에서 추출한 영상 특징점과 상기 제2 3D 영상에서 추출한 영상 특징점을 매칭하여 상기 제2 3D 센서의 외부 파라미터를 보정하며, 보정된 상기 제2 3D 센서의 외부 파라미터를 이용해 상기 제1 3D 영상과 상기 제2 3D 영상 사이의 좌표 변환 행렬을 연산하고 상기 제1 3D 영상의 좌표와 상기 제2 3D 영상의 좌표를 매칭하여 상기 제1 3D 영상과 상기 제2 3D 영상을 합성해 상기 제1 3D 영상에서 상기 작업 장치를 투명화하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 장치
|
| 4 |
4
삭제
|
| 5 |
5
제1항에 있어서,상기 제1 3D 센서, 상기 제2 3D 센서 또는 상기 시선 방향 감지 센서는, 감지 대상까지의 거리를 측정하는 거리 센서와 영상 촬영을 위한 카메라를 포함하고,상기 제어부는, 상기 거리 센서의 감지 결과에 상기 카메라의 촬영 영상을 매칭하여 3D 영상을 생성하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 장치
|
| 6 |
6
제1항에 있어서,상기 제1 3D 센서, 상기 제2 3D 센서 또는 상기 시선 방향 감지 센서는, 스테레오 카메라를 포함하고,상기 제어부는, 상기 스테레오 카메라의 촬영 영상에서 삼각법을 기반으로 거리 정보를 획득하고 상기 스테레오 카메라의 촬영 영상과 매칭하여 3D 영상을 생성하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 장치
|
| 7 |
7
가림 물체 투명 표시 장치가 제1 3D 센서를 이용하여 화면에 표시되는 작업 장치의 작업 영역을 감지하는 단계;상기 가림 물체 투명 표시 장치가 제2 3D 센서를 이용하여 상기 제1 3D 센서의 감지 결과에 따른 제1 3D 영상 중 상기 작업 장치에 의해 가려지는 작업 영역을 감지하는 단계;상기 가림 물체 투명 표시 장치가 시선 방향 감지 센서를 이용하여 상기 화면을 응시하는 눈동자의 위치와 시선 방향을 감지하는 단계;상기 가림 물체 투명 표시 장치가 상기 제1 3D 영상에 상기 제2 3D 센서를 제어하여 감지한 결과에 따른 제2 3D 영상을 합성하여 상기 제1 3D 영상에서 상기 작업 장치를 투명화하는 단계; 및상기 가림 물체 투명 표시 장치가 상기 눈동자의 위치와 시선 방향에 맞게 상기 제1 3D 영상의 표시 시점을 결정하여 상기 제1 3D 영상을 기준으로 상기 작업 장치를 투명화한 합성 영상을 상기 화면에 표시하는 단계;를 포함하고,상기 화면에 표시하는 단계는,상기 가림 물체 투명 표시 장치가 상기 시선 방향 감지 센서의 설치 위치에 따른 3차원 위치 정보 및 상기 시선 방향 감지 센서의 감지 자세 정보를 고려하여 상기 시선 방향 감지 센서의 외부 파라미터를 추출하는 단계;상기 가림 물체 투명 표시 장치가 상기 제1 3D 영상에서 추출한 영상 특징점과 시선 방향 감지 센서를 제어하여 감지한 결과에 따른 제3 3D 영상에서 추출한 영상 특징점을 매칭하여 상기 시선 방향 감지 센서의 외부 파라미터를 보정하는 단계; 및상기 가림 물체 투명 표시 장치가 보정된 상기 시선 방향 감지 센서의 외부 파라미터를 이용해 상기 제1 3D 영상과 상기 제3 3D 영상 사이의 좌표 변환 행렬을 연산하여 상기 제1 3D 영상의 좌표와 상기 제3 3D 영상의 좌표를 매칭함으로써 상기 제1 3D 영상의 좌표계에서의 상기 눈동자의 위치를 판단하는 단계;를 포함하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 방법
|
| 8 |
8
제7항에 있어서,상기 제2 3D 센서는,상기 작업 장치의 작업용 팔에서 상기 제1 3D 센서의 설치 위치와 반대되는 방향에 설치되어 위치하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 방법
|
| 9 |
9
제8항에 있어서,상기 작업 장치를 투명화하는 단계는,상기 가림 물체 투명 표시 장치가 상기 작업용 팔의 동작 상태와 상기 작업용 팔에서의 상기 제2 3D 센서의 설치 위치에 따른 3차원 위치 정보, 상기 제2 3D 센서의 감지 자세 정보를 고려하여 상기 제2 3D 센서의 외부 파라미터를 추출하는 단계;상기 가림 물체 투명 표시 장치가 상기 제1 3D 영상에서 추출한 영상 특징점과 상기 제2 3D 영상에서 추출한 영상 특징점을 매칭하여 상기 제2 3D 센서의 외부 파라미터를 보정하는 단계; 및상기 가림 물체 투명 표시 장치가 보정된 상기 제2 3D 센서의 외부 파라미터를 이용해 상기 제1 3D 영상과 상기 제2 3D 영상 사이의 좌표 변환 행렬을 연산하고 상기 제1 3D 영상의 좌표와 상기 제2 3D 영상의 좌표를 매칭하여 상기 제1 3D 영상과 상기 제2 3D 영상을 합성해 상기 제1 3D 영상에서 상기 작업 장치를 투명화하는 단계;를 포함하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 방법
|
| 10 |
10
삭제
|
| 11 |
11
작업을 수행하는 작업 장치; 및제1 3D 센서를 이용하여 화면에 표시되는 작업 장치의 작업 영역을 감지하고, 제2 3D 센서를 이용하여 상기 제1 3D 센서의 감지 결과에 따른 제1 3D 영상 중 상기 작업 장치에 의해 가려지는 작업 영역을 감지하고, 시선 방향 감지 센서를 이용하여 상기 화면을 응시하는 눈동자의 위치와 시선 방향을 감지하고, 상기 제1 3D 영상에 상기 제2 3D 센서를 제어하여 감지한 결과에 따른 제2 3D 영상을 합성하여 상기 제1 3D 영상에서 상기 작업 장치를 투명화하고, 상기 눈동자의 위치와 시선 방향에 맞게 상기 제1 3D 영상의 표시 시점을 결정하여 상기 제1 3D 영상을 기준으로 상기 작업 장치를 투명화한 합성 영상을 상기 화면에 표시하는 가림 물체 투명 표시 장치;를 포함하며,상기 가림 물체 투명 표시 장치는,상기 시선 방향 감지 센서의 설치 위치에 따른 3차원 위치 정보 및 상기 시선 방향 감지 센서의 감지 자세 정보를 고려하여 상기 시선 방향 감지 센서의 외부 파라미터를 추출하고, 상기 제1 3D 영상에서 추출한 영상 특징점과 시선 방향 감지 센서를 제어하여 감지한 결과에 따른 제3 3D 영상에서 추출한 영상 특징점을 매칭하여 상기 시선 방향 감지 센서의 외부 파라미터를 보정하며, 보정된 상기 시선 방향 감지 센서의 외부 파라미터를 이용해 상기 제1 3D 영상과 상기 제3 3D 영상 사이의 좌표변환 행렬을 연산하여 상기 제1 3D 영상의 좌표와 상기 제3 3D 영상의 좌표를 매칭함으로써 상기 제1 3D 영상의 좌표계에서의 상기 눈동자의 위치를 판단하는 것을 특징으로 하는 시선 방향에 따른 가림 물체 투명 표시 시스템
|
