| 1 |
1
보조 시각 시스템(100)에 있어서,카메라의 시각을 제어하기 위해 Pan - Tilt - Zoom (PTZ) 기능을 가지는 카메라(110);투명하여 착용시 사용자가 외부를 볼 수 있고, 상기 보조 시각 시스템(100)에서 제공하는 추가적인 시각 정보를 상기 사용자에게 출력하는 HMD(120);상기 사용자의 클릭(Click) 또는 스와프(Swipe) 동작을 인식하여 사용자가 상기 보조 시각 시스템(100)을 제어 할 수 있도록 하는 동작 감지부(130); 및상기 동작 감지부(130)를 통한 상기 사용자의 동작을 정보를 분석하고, 상기 카메라(110)를 통한 영상을 안정화하고, 상기 영상의 관심대상을 추적하며, 상기 카메라(110)의 동작과 상기 HMD(120)의 출력 화면을 제어하는 처리부(140);를 포함하되,상기 처리부(140)는,상기 사용자의 손 동작 정보를 통해, 상기 처리부(140)가 관심대상을 추적하고 상기 카메라 및 화면 관리부(142d)를 제어하기 위해, 상기 동작 감지부(130)를 통한 상기 사용자의 손 동작 정보를 분석하는 동작 처리부(141); 및상기 카메라(110)를 통한 영상의 흔들림을 안정화하고, 상기 영상에서 상기 사용자의 관심대상을 추적하며, 상기 카메라(110)의 동작과 상기 HMD(120)의 출력 화면을 제어하는 보조 시각 처리부(142);를 포함하되,상기 보조 시각 처리부(142)는,상기 카메라(110)를 통한 영상의 흔들림을 안정화하고, 상기 영상을 분석하여 상기 사용자의 관심대상을 추적하는 이미지 처리부(142a);상기 동작 처리부(141)를 통한 사용자의 손 동작의 분석 결과와 상기 이미지 처리부(142a)를 통한 관심대상 추적 결과에 따라 상기 카메라(110)의 다음 동작을 결정한 후 그 결정을 카메라 제어부(142c)로 전송하는 보조 시각 일정부(142b);상기 보조 시각 일정부(142b)로부터 전송 받은 상기 카메라(110)의 다음 동작에 대한 내용에 따라 상기 카메라(110)를 제어하는 카메라 제어부(142c); 및상기 HMD(120)를 통해 상기 사용자에게 상기 사용자의 관심대상을 상기 HMD(120) 화면에 제공하는 화면 관리부(142d);를 포함하되,상기 화면 관리부(142d)는상기 관심대상이 상기 사용자의 위치에서 떨어져 있을 경우 상기 카메라(110)의 확대 기능을 통해 관심대상을 확대해서 상기 HMD(120) 화면에 제공하고, 상기 사용자가 상기 관심대상이 있지 않는 부분을 응시하더라도 상기 카메라(110)는 계속 관심대상을 추적하여 상기 사용자가 상기 관심대상을 상기 카메라(110)를 통해 계속 응시 할 수 있게 상기 HMD(120) 화면에 제공하되,상기 이미지 처리부(142a)는,상기 카메라(110)를 통한 영상의 흔들림을 저수준의 영상 흔들림 보정을 통해 안정화하는 안정화부(142a1); 및상기 영상을 저주순의 2D 추적 기술을 통해 분석하여 상기 사용자의 관심대상을 추적하는 추적부(142a2);를 포함하되,상기 안정화부(142a1)는,저수준의 영상 흔들림 보정으로 강인한 특징점 추출 기술과 Optical Flow 기술을 사용하여 기준 영상과 현재 영상의 비교를 통해 상기 영상을 안정화 하되,상기 추적부(142a2)는,상기 카메라(110)의 영상에서 추출한 관심대상의 이미지와 현재 영상 간의 비교를 통해 상기 카메라(110)의 영상 내에서 관심대상이 검출되었을 경우 관심대상이 영상 내의 중심에 오도록 상기 카메라(110)의 회전(PAN) 및 수직(Tilt) 이동을 상기 카메라 제어부(142c)를 통해 제어하여 저수준의 2D 추적 기술을 사용을 하는 것을 특징으로 하는 보조 시각 시스템
|
