| 1 |
1
행동하는 주체가 되는 제1 객체와 또 다른 상기 행동하는 주체의 주변에 위치하는 적어도 하나의 제2 객체들을 포함하는 인접하는 서로 다른 프레임 영상들에서 상기 행동하는 주체가 되는 제1 객체의 행동에 관한 모션 정보를 포함하는 제1 액션 스트림을 생성하고, 상기 제2 객체의 변화에 따른 제2 액션 스트림을 생성하여, 상기 제1 액션 스트림과 제2 액션 스트림을 조합하여 조합 스트림을 생성하는 스트림 생성부; 및 상기 제1 액션 스트림, 제2 액션 스트림 및 조합 스트림을 입력 받아, 상기 행동하는 주체가 되는 객체의 행동을 분류하기 위한 지표로서 각각의 클래스 벡터를 출력하는 제1 인식기;와 상기 제1 인식기에서 출력된 상기 클래스 벡터들을 미리 설정된 방법에 따라 합산하는 합산부;를 포함하여, 상기 합산된 클래스 벡터를 이용하여 상기 객체들의 행동을 분석하여 인식하는 인식부;를 포함하며,상기 조합 스트림은 상기 제1 객체와 제2 객체 별로 생성된 제1 액션 스트림과 제2 액션 스트림의 객체 별로 검출된 관심 영역들의 상호 위치에 대한 위치 정보를 기반으로 하며,상기 클래스 벡터는 상기 제1 객체의 행동을 분류하는 행동 목록과 입력 영상 내의 제1 객체와 제2 객체들의 행동이 상기 행동 목록에 해당할 확률을 나타내는 확률 정보를 포함하며, 상기 인식부는 상기 합산된 클래스 벡터의 상기 행동 목록별 상기 확률 정보에 따라 상기 제1 객체와 상기 제2 객체의 연관성을 고려하여 상기 객체들의 행동을 인식하는 것을 특징으로 하는 영상 인식 장치
|
| 2 |
2
제1항에 있어서, 상기 스트림 생성부는상기 입력 영상을 시간의 흐름에 따라 분할하여 복수개의 프레임 영상들을 생성하며, 상기 생성된 프레임 영상들에서 상기 제1 객체 및 제2 객체 별로 상기 제1 객체 및 제2 객체를 적어도 일부 포함하는 관심 영역을 검출하는 관심 영역 검출부; 를 더 포함하고,상기 검출된 관심 영역을 이용하여 상기 액션 스트림을 생성하는 것을 특징으로 하는 영상 인식 장치
|
| 3 |
3
삭제
|
| 4 |
4
제2항에 있어서, 상기 스트림 생성부는상기 인접하는 서로 다른 프레임 영상들에서 검출된 상기 관심 영역간 연결 점수를 산출하며, 상기 산출된 연결 점수를 고려하여 상기 서로 다른 프레임 영상들에서 검출된 상기 관심 영역을 연결하는 관심 영역 연결부; 를 더 포함하고,상기 연결된 관심 영역들을 이용하여 상기 제1 및 제2 객체 별로 상기 액션 스트림을 생성하는 것을 특징으로 하는 영상 인식 장치
|
| 5 |
5
제4항에 있어서, 상기 스트림 생성부는 상기 프레임 영상들에서 검출된 상기 관심 영역을 프레임 영상 단위로 재배열하고, 상기 재배열된 관심 영역을 연결하여 생성된 상기 조합 스트림으로부터 상기 액션 스트림의 상호간 위치에 관한 위치 정보를 산출하는 위치 정보 산출부; 를 더 포함하는 것을 특징으로 하는 영상 인식 장치
|
| 6 |
6
제4항에 있어서, 상기 관심 영역 연결부는인접한 프레임 영상들 각각에서 검출된 상기 관심 영역들의 특징 정보를 입력으로 하는 유사도 함수, 상기 인접한 프레임 영상들 각각에서 검출된 상기 관심 영역들의 오버렙 비율을 출력으로 하는 교차비 함수 및 상기 관심 영역들의 클래스 정보의 유사도 중 적어도 하나를 고려하여 연결 점수를 산출하는 연결 점수 산출부; 를 더 포함하고,상기 산출된 연결 점수를 이용하여 상기 관심 영역을 연결하는 것을 특징으로 하는 영상 인식 장치
|
| 7 |
7
제6항에 있어서, 상기 관심 영역 연결부는상기 관심 영역이 검출되지 않은 프레임 영상이 존재하는 경우,상기 관심 영역이 검출되지 않은 프레임 영상에 인접한 프레임 영상들에서 검출된 관심 영역들의 특징 정보를 기반으로 상기 관심 영역이 검출되지 않은 프레임 영상 내의 관심 영역의 특징 정보를 추정하는 특징 정보 추정부; 를 더 포함하고,상기 추정된 특징 정보를 이용하여 상기 관심 영역을 연결하는 것을 특징으로 하는 영상 인식 장치
|
| 8 |
8
제2항에 있어서, 상기 관심 영역 검출부는상기 생성된 프레임 영상 내 상기 관심 영역이 위치하는 좌표를 나타내는 특징 정보를 산출하는 특징 정보 산출부; 를 더 포함하고,상기 산출된 특징 정보를 이용하여 상기 관심 영역을 검출하는 것을 특징으로 하는 영상 인식 장치
|
| 9 |
9
제5항에 있어서, 상기 위치 정보 산출부는상기 프레임 영상들에서 상기 제1 및 제2 객체 별로 검출된 상기 관심 영역 및 상기 관심 영역이 검출되지 않은 부분을 구분하는 영역 구분부; 및상기 구분된 관심 영역을 소정의 조합 방법으로 재배열하는 재배열부; 를 더 포함하고,상기 재배열된 관심 영역을 연결하여 생성된 조합 스트림을 기반으로 상기 위치 정보를 산출하는 것을 특징으로 하는 영상 인식 장치
|
| 10 |
10
제8항에 있어서, 상기 특징 정보 산출부는상기 생성된 프레임 영상들을 각각 분할하여 미리 결정된 크기의 격자셀을 생성하는 전처리부; 및 상기 생성된 프레임 영상들을 입력으로 하고, 상기 격자셀 내부에 중심을 가지고 상기 제1 객체 또는 제2 객체가 존재하는 확률을 나타내는 바운더리 셀의 중심 좌표 또는 상기 바운더리 셀 내 상기 객체가 존재하는 확률을 출력으로 하는 제2 인식기(Neural Network)을 이용하여 상기 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 객체가 존재하는 확률을 계산하는 계산부; 를 더 포함하고,상기 확률 및 상기 중심 좌표가 계산된 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 영상 인식 장치
|
| 11 |
11
제10항에 있어서, 상기 관심 영역 검출부는상기 프레임 영상들 내에 상기 제1 객체를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 제1 객체가 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 제1 객체를 중복하여 포함하는 바운더리 셀의 일부를 제거하는 바운더리 셀 제거부; 를 더 포함하고,제거되고 남은 바운더리 셀을 이용하여 상기 관심 영역을 검출하는 것을 특징으로 하는 영상 인식 장치
|
| 12 |
12
삭제
|
| 13 |
13
스트림 생성부가 행동하는 주체가 되는 제1 객체와 또 다른 상기 행동하는 주체의 주변에 위치하는 적어도 하나의 제2 객체들을 포함하는 인접하는 서로 다른 프레임 영상들에서 상기 행동하는 주체가 되는 제1 객체의 행동에 관한 모션 정보를 포함하는 제1 액션 스트림을 생성하고, 상기 제2 객체의 변화에 따른 제2 액션 스트림을 생성하여, 상기 제1 액션 스트림과 제2 액션 스트림을 조합하여 조합 스트림을 생성하는 단계; 및인식부가 합산된 클래스 벡터를 이용하여 객체들의 행동을 분석하여 인식하는 단계; 를 포함하며,상기 합산된 클래스 벡터를 이용하여 객체들의 행동을 분석하여 인식하는 단계는,제1 인식기가 상기 제1 액션 스트림, 제2 액션 스트림 및 조합 스트림을 입력 받아, 상기 행동하는 주체가 되는 객체의 행동을 분류하기 위한 지표로서 각각의 클래스 벡터를 출력하는 단계;와 합산부가 상기 제1 인식기에서 출력된 상기 클래스 벡터들을 미리 설정된 방법에 따라 합산하는 단계;를 포함하고,상기 조합 스트림은 상기 제1 객체와 제2 객체 별로 생성된 제1 액션 스트림과 제2 액션 스트림의 객체 별로 검출된 관심 영역들의 상호 위치에 대한 위치 정보를 기반으로 하며,상기 클래스 벡터는 상기 제1 객체의 행동을 분류하는 행동 목록과 입력 영상 내의 제1 객체와 제2 객체들의 행동이 상기 행동 목록에 해당할 확률을 나타내는 확률 정보를 포함하며, 상기 인식부는 상기 합산된 클래스 벡터의 상기 행동 목록별 상기 확률 정보에 따라 상기 제1 객체와 상기 제2 객체의 연관성을 고려하여 상기 객체들의 행동을 인식하는 것을 특징으로 하는 영상 인식 방법
|
| 14 |
14
제13항에 있어서, 상기 생성하는 단계는상기 입력 영상을 시간의 흐름에 따라 분할하여 복수개의 프레임 영상들을 생성하며, 상기 생성된 프레임 영상들에서 상기 제1 객체 및 제2 객체 별로 상기 제1 객체 및 제2 객체를 적어도 일부 포함하는 관심 영역을 검출하는 단계; 를 더 포함하고,상기 검출된 관심 영역을 이용하여 상기 액션 스트림을 생성하는 것을 특징으로 하는 영상 인식 방법
|
| 15 |
15
제14항에 있어서, 상기 생성하는 단계는인접하는 서로 다른 프레임 영상들에서 검출된 상기 관심 영역간 연결 점수를 산출하며, 상기 산출된 연결 점수를 고려하여 상기 서로 다른 프레임 영상들에서 검출된 상기 관심 영역을 연결하는 단계; 를 더 포함하고,상기 연결된 관심 영역들을 이용하여 상기 제1 객체 및 제2 객체 별로 상기 액션 스트림을 생성하는 것을 특징으로 하는 영상 인식 방법
|
| 16 |
16
제15항에 있어서, 상기 생성하는 단계는상기 프레임 영상들에서 검출된 상기 관심 영역을 프레임 영상 단위로 재배열하고, 상기 재배열된 관심 영역을 연결하여 생성된 조합 스트림으로부터 상기 액션 스트림의 상호간 위치에 관한 위치 정보를 산출하는 단계; 를 더 포함하는 것을 특징으로 하는 영상 인식 방법
|
| 17 |
17
제15항에 있어서, 상기 연결하는 단계는인접한 프레임 영상들 각각에서 검출된 상기 관심 영역들의 특징 정보를 입력으로 하는 유사도 함수, 상기 인접한 프레임 영상들 각각에서 검출된 상기 관심 영역들의 오버렙 비율을 출력으로 하는 교차비 함수 및 상기 관심 영역들의 클래스 정보의 유사도 중 적어도 하나를 고려하여 연결 점수를 산출하는 단계; 를 더 포함하고,상기 산출된 연결 점수를 이용하여 상기 관심 영역을 연결하는 것을 특징으로 하는 영상 인식 방법
|
| 18 |
18
제17항에 있어서, 상기 연결하는 단계는상기 관심 영역이 검출되지 않은 프레임 영상이 존재하는 경우,상기 관심 영역이 검출되지 않은 프레임 영상에 인접한 프레임 영상들에서 검출된 관심 영역들의 특징 정보를 기반으로 상기 관심 영역이 검출되지 않은 프레임 영상 내의 관심 영역의 특징 정보를 추정하는 단계; 를 더 포함하고,상기 추정된 특징 정보를 이용하여 상기 관심 영역을 연결하는 것을 특징으로 하는 영상 인식 방법
|
| 19 |
19
제16항에 있어서, 상기 위치 정보를 산출하는 단계는상기 프레임 영상들에서 상기 제1 객체 및 제2 객체 별로 검출된 상기 관심 영역 및 상기 관심 영역이 검출되지 않은 부분을 구분하는 단계; 및상기 구분된 관심 영역을 소정의 조합 방법으로 재배열하는 단계; 를 더 포함하고,상기 재배열된 관심 영역을 연결하여 생성된 조합 스트림을 기반으로 상기 위치 정보를 산출하는 것을 특징으로 하는 영상 인식 방법
|
| 20 |
20
프로세서에 의해 실행되는 것을 통하여 제13항 내지 제19항 중 어느 한 항에 기재된 영상 인식 방법을 실현하는 컴퓨터에서 판독 가능한 기록매체에 저장된 프로그램
|
