1 |
1
3차원 센서를 포함한 적어도 하나 이상의 센서로부터 강사를 인식하여 강사의 위치 정보와 행동 정보를 포함한 강사 상태 정보를 수집하고, 상기 강사 상태 정보에 따라 PTZ 제어 명령을 산출하여 강의 영상을 촬영하는 PTZ(Pan Tilt Zoom) 카메라의 동작을 제어하는 강사 추적 장치; 상기 PTZ 카메라로부터 강사를 포함한 강의 모습을 촬영한 카메라의 강의 영상을 전송받아 녹화하고, 로컬 단말기를 통해 출력되는 단말기의 교육자료 컨텐츠 영상을 녹화하는 영상 녹화 장치; 및 상기 영상 녹화 장치에 녹화된 강의 영상들과 상기 강사 상태 정보를 통합하여 강의 동영상을 생성하여 VOD(Video On Demand) 서비스를 제공하고, 상기 VOD 서비스의 내용, 상기 영상 녹화 장치의 녹화 영상 및 상기 강사 추적 장치의 강사 상태 정보를 백업(Backup)하는 영상 제어 서버를 포함하며,상기 강사 추적 장치는,컬러(RGB) 이미지 센서, 적외선 센서 또는 심도 센서 중 적어도 하나 이상의 3차원 센서를 포함하고, 상기 3차원 센서를 통해 컬러 영상과 깊이 영상을 합성하여 3차원의 인물 영상을 수집하고, 상기 3차원의 인물 영상에서 현재 강사의 위치 정보, 얼굴 인식 정보, 뼈대 정보 및 행동 정보를 추출하여 강사 상태 정보를 출력하는 센서 모듈; 및 상기 강사 상태 정보를 상기 얼굴 인식 정보, 뼈대정보 및 행동 정보를 포함한 이벤트 정보와 강사의 위치 정보로 구분하고, 상기 이벤트 정보에 따라 시나리오 동작 정보를 작성한 후에 상기 PTZ 제어 명령을 산출하며, 상기 강사 위치 정보를 기초로 하여 상기 PTZ 카메라의 이동 위치 정보값을 연산하여 상기 PTZ 카메라로 전송하는 PTZ 제어 모듈을 포함하고,상기 센서 모듈은,상기 3차원의 인물 영상에서 얼굴색 영역을 검출하여 얼굴 인식 정보를 생성하고, 상기 얼굴 인식 정보에서 눈 영역을 선택하여 상기 눈 영역에 대한 방향을 검출함으로써 얼굴 방향을 확인하는 얼굴 인식부; 상기 3차원의 인물 영상에서 깊이 영상을 추출하고, 인체의 각 특징점(Land-mark)의 기하학적 변화를 이용하여 깊이 영상에서 뼈대 정보를 추출하는 뼈대 추출부; 상기 얼굴 인식 정보와 상기 뼈대 추출부에서 추출한 뼈대 정보를 통합하여 상기 강사의 얼굴 방향과 손의 위치 정보를 추출함으로써 현재 강사 위치 정보와 행동 정보를 포함한 강사 상태 정보를 출력하는 데이터 제어부; 및상기 PTZ 제어 모듈 또는 상기 PTZ 카메라와의 데이터를 송수신하도록 통신을 수행하는 통신부를 포함하며,상기 PTZ 제어 모듈은,상기 센서 모듈로부터 상기 강사 상태 정보를 수신하는 데이터 수신부;상기 강사 상태 정보를 분석하여 상기 강사 위치 정보와 이벤트 정보로 구분하는 데이터 분석부;상기 PTZ 카메라의 설치 환경에 따른 보정값을 설정하여 전송하는 위치 보정부;상기 데이터 분석부에서 전송받은 강사 위치 정보와 상기 위치 보정부에서 전송받은 보정값을 기준으로 하여 상기 강사 위치 정보를 연산하여 상기 PTZ 카메라의 이동 위치 정보값을 산출하는 위치 제어부;상기 데이터분석부에서 전송받은 이벤트 정보에 따른 이벤트 로그 정보를 로그 저장부에 저장하고, 상기 저장된 이벤트 로그를 참조하여 현재 강사 위치 정보와 과거 강사 위치 정보를 토대로 시나리오 동작 정보를 작성하는 이벤트 관리부;상기 위치 제어부의 상기 PTZ 카메라의 이동 위치 정보값과 상기 이벤트 관리부의 시나리오 동작 정보를 통합한 PTZ 제어 명령을 상기 PTZ 카메라에 전송하는 통신부를 포함하고,상기 데이터 제어부에 사용되는 위치 보정 데이터는 뼈대 추출부(112)에서 얻어진 뼈대 데이터를 인체의 각 특징점(Land-mark)에 매칭시켜 선형 변환(Linear Transformation) 방식으로 카메라 좌표계의 좌표값에서 월드 좌표계의 좌표값으로 변환하여 PTZ 카메라(101)의 위치를 보정하여 획득하고,상기 데이터 분석부는 강사의 행동 정보에 대한 이벤트 정보를 분석하여 미리 설정된 이벤트 정보와 동일하면 이벤트 관리부로 전송하고, 동일하지 않으면 강사의 행동 정보에 대한 이벤트를 다시 파악하며,상기 로그 저장부는 어떠한 행동에 대한 이벤트가 발생하였는지 발생한 시간과 강사 행동에 대한 이벤트 정보를 저장하고, 영상 제어 서버에서 동영상 편집시 로그 저장부에 저장된 로그 정보를 사용하는 것을 특징으로 하는 3차원 센서를 이용한 강사 추적 시스템
|