| 1 |
1
사용자가 존재하는 공간을 촬영한 복수의 촬영 이미지 데이터를 서로 다른 위치의 복수의 카메라로부터 수신하는 통신 인터페이스; 및상기 수신된 촬영 이미지 데이터에 기초하여 상기 공간 전체를 포함하는 공간 뎁스 맵 및 상기 뎁스 맵과 매칭되는 복수의 RGB 이미지를 생성하는 프로세서;를 포함하고,상기 프로세서는,상기 공간 뎁스 맵 및 상기 복수의 RGB 이미지에 기초하여 상기 사용자를 감지하고, 상기 감지된 사용자의 얼굴 영역을 추출하며, 상기 추출된 사용자의 얼굴 영역에 기초하여 시선 벡터를 획득하고, 상기 획득된 시선 벡터에 기초하여 관심 물체를 판단하며, 상기 판단된 관심 물체를 식별하기 위한 옵티멀(optimal) 이미지를 획득하는, 전자 장치
|
| 2 |
2
제1항에 있어서,상기 통신 인터페이스는,상기 획득된 옵티멀(optimal) 이미지를 서버로 전송하고, 상기 옵티멀(optimal) 이미지에 기초하여 식별된 상기 관심 물체에 대한 정보를 서버로부터 수신하는, 전자 장치
|
| 3 |
3
제1항에 있어서,상기 프로세서는,상기 복수의 RGB 이미지로부터 상기 판단된 관심 물체를 포함하는 다양한 시점의 2D ROI 이미지를 획득하는, 전자 장치
|
| 4 |
4
제3항에 있어서,상기 프로세서는,상기 다양한 시점의 2D ROI 이미지 중 상기 관심 물체의 왜곡도가 가장 낮은 2D ROI 이미지를 옵티멀(optimal) 이미지로 획득하는, 전자 장치
|
| 5 |
5
제3항에 있어서,상기 프로세서는,상기 공간 뎁스 맵으로부터 상기 판단된 관심 물체를 포함하는 3D 포인트 정보를 획득하고, 상기 획득된 3D 포인트 정보를 기 설정된 벡터 방향으로 투사(projection)하여 투사 이미지를 생성하고, 상기 다양한 시점의 2D ROI 이미지에 기초하여 상기 생성된 투사 이미지를 보간하여 옵티멀(optimal) 이미지를 획득하는, 전자 장치
|
| 6 |
6
제1항에 있어서,상기 프로세서는,상기 추출된 얼굴 영역에 기초하여 상기 감지된 사용자의 얼굴 마스크를 생성하고, 복수 사용자의 얼굴 형태 및 시선 방향의 평균 데이터에 기초하여 생성된 기준 얼굴 마스크 및 기준 시선 벡터를 상기 생성된 사용자의 얼굴 마스크에 매칭시키며, 상기 기준 시선 벡터의 방향을 상기 매칭된 사용자의 얼굴 마스크의 상기 시선 벡터로 획득하는, 전자 장치
|
| 7 |
7
제1항에 있어서,상기 프로세서는,상기 추출된 사용자의 얼굴 영역에 대응되는 가상의 계란형 입체 도형을 생성하고, 상기 생성된 계란형 입체 도형을 수직으로 절단한 절단면의 중심점을 획득하며, 상기 획득된 중심점의 법선 벡터 방향을 시선 벡터로 획득하는, 전자 장치
|
| 8 |
8
제1항에 있어서,상기 프로세서는,상기 공간 뎁스 맵 및 상기 시선 벡터에 기초하여 상기 관심 물체의 후보 물체를 식별하고, 상기 복수의 RGB 이미지 및 상기 시선 벡터의 방향에 기초하여 상기 식별된 후보 물체 중 상기 관심 물체를 판단하는, 전자 장치
|
| 9 |
9
제1항에 있어서,상기 프로세서는,상기 공간 뎁스 맵 및 상기 복수의 RGB 이미지에 기초하여 상기 공간 전체에 존재하는 객체를 감지하고, 상기 감지된 객체의 좌표 및 상기 시선 벡터에 기초하여 관심 물체를 판단하는, 전자 장치
|
| 10 |
10
사용자가 존재하는 공간을 촬영한 복수의 촬영 이미지 데이터를 서로 다른 위치의 복수의 카메라로부터 수신하는 단계;상기 수신된 촬영 이미지 데이터에 기초하여 상기 공간 전체를 포함하는 공간 뎁스 맵 및 상기 공간 뎁스 맵과 매칭되는 복수의 RGB 이미지를 생성하는 단계;상기 생성된 공간 뎁스 맵에 기초하여 상기 사용자를 감지하고, 상기 감지된 사용자의 얼굴 영역을 추출하는 단계;상기 추출된 사용자의 얼굴 영역에 기초하여 시선 벡터를 획득하는 단계;상기 공간 뎁스 맵, 상기 복수의 RGB 이미지 및 상기 획득된 시선 벡터에 기초하여 관심 물체를 판단하는 단계; 및상기 판단된 관심 물체를 식별하기 위한 옵티멀(optimal) 이미지를 획득하는 단계;를 포함하는, 전자 장치의 제어 방법
|
| 11 |
11
제10항에 있어서,상기 획득된 옵티멀(optimal) 이미지를 서버로 전송하는 단계; 및상기 옵티멀(optimal) 이미지에 기초하여 식별된 상기 관심 물체에 대한 정보를 서버로부터 수신하는 단계;를 더 포함하는, 전자 장치의 제어 방법
|
| 12 |
12
제10항에 있어서,상기 복수의 RGB 이미지로부터 상기 판단된 관심 물체를 포함하는 다양한 시점의 2D ROI 이미지를 획득하는 단계;를 더 포함하는, 전자 장치의 제어 방법
|
| 13 |
13
제12항에 있어서,상기 옵티멀(optimal) 이미지를 획득하는 단계는,상기 다양한 시점의 2D ROI 이미지 중 상기 관심 물체의 왜곡도가 가장 낮은 2D ROI 이미지를 옵티멀(optimal) 이미지로 획득하는, 전자 장치의 제어 방법
|
| 14 |
14
제12항에 있어서,상기 옵티멀(optimal) 이미지를 획득하는 단계는,상기 공간 뎁스 맵으로부터 상기 판단된 관심 물체에 대한 3D 포인트 정보를 획득하고, 상기 획득된 3D 포인트 정보를 기 설정된 벡터 방향으로 투사(projection)하여 투사 이미지를 생성하고, 상기 다양한 시점의 2D ROI 이미지에 기초하여 상기 생성된 투사 이미지를 보간하여 옵티멀(optimal) 이미지를 획득하는, 전자 장치의 제어 방법
|
| 15 |
15
제10항에 있어서,상기 시선 벡터를 획득하는 단계는,상기 추출된 얼굴 영역에 기초하여 상기 감지된 사용자의 얼굴 마스크를 생성하고, 복수 사용자의 얼굴 형태 및 시선 방향의 평균 데이터에 기초하여 생성된 기준 얼굴 마스크 및 기준 시선 벡터를 상기 생성된 사용자의 얼굴 마스크에 매칭시키며, 상기 기준 시선 벡터의 방향을 상기 매칭된 사용자의 얼굴 마스크의 상기 시선 벡터로 획득하는, 전자 장치의 제어 방법
|
| 16 |
16
제10항에 있어서,상기 시선 벡터를 획득하는 단계는,상기 추출된 사용자의 얼굴 영역에 대응되는 가상의 계란형 입체 도형을 생성하고, 상기 생성된 계란형 입체 도형을 수직으로 절단한 절단면의 중심점을 획득하며, 상기 획득된 중심점의 법선 벡터 방향을 시선 벡터로 획득하는, 전자 장치의 제어 방법
|
| 17 |
17
제10항에 있어서,상기 관심 물체를 판단하는 단계는,상기 공간 뎁스 맵 및 상기 시선 벡터에 기초하여 상기 관심 물체의 후보 물체를 식별하고, 상기 복수의 RGB 이미지 및 상기 시선 벡터의 방향에 기초하여 상기 식별된 후보 물체 중 상기 관심 물체를 판단하는, 전자 장치의 제어 방법
|
| 18 |
18
제10항에 있어서,상기 공간 뎁스 맵 및 상기 복수의 RGB 이미지에 기초하여 상기 공간 전체에 존재하는 객체를 감지하는 단계;를 더 포함하고, 상기 관심 물체를 판단하는 단계는,상기 감지된 객체의 좌표 및 상기 시선 벡터에 기초하여 관심 물체를 판단하는, 전자장치의 제어 방법
|
