| 1 |
1
행동 인식 장치가 영상 내의 객체의 행동을 인식하는 방법에 있어서, 영상 세그먼트(segment)를 획득하는 단계; 제1 뉴럴 네트워크(neural network)를 통해 상기 영상 세그먼트 내에 객체의 행동이 존재하는지 여부를 판별하는 단계; 상기 영상 세그먼트 내에 객체의 행동이 존재하면, 제2 뉴럴 네트워크를 통해 상기 영상 세그먼트에 연속하는 하나 이상의 미래영상 프레임을 생성하여 통합 영상 세그먼트를 구성하는 단계; 및제3 뉴럴 네트워크를 통해 상기 통합 영상 세그먼트 내의 상기 객체의 행동 유형 및 행동 시점을 검출하는 단계를 포함하되, 상기 제1 뉴럴 네트워크는 독립적으로 학습되며, 상기 제2 뉴럴 네트워크와 상기 제3 뉴럴 네트워크는 의존적으로 학습되는 것인 행동 인식 방법
|
| 2 |
2
제 1 항에 있어서, 상기 제2 뉴럴 네트워크는 상기 제3 뉴럴 네트워크의 손실함수의 값을 기초로 학습되며, 상기 제3 뉴럴 네트워크는 상기 제2 뉴럴 네트워크의 결과값을 기초로 학습되는 것인 행동 인식 방법
|
| 3 |
3
제 1 항에 있어서, 상기 객체의 행동이 존재하는지 여부를 판별하는 단계는 상기 제1 뉴럴 네트워크에 포함된 복수의 레이어 중 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하는 단계; 및상기 제1 뉴럴 네트워크에 포함된 이진분류기에 상기 특징맵을 입력 데이터로 적용하여 상기 영상 세그먼트 내에 상기 객체의 행동이 존재하는지 여부를 판별하는 단계;를 포함하는 것인 행동 인식 방법
|
| 4 |
4
제 3 항에 있어서, 상기 속성 정보는 상기 영상 세그먼트에 포함된 폴리건(polygon), 에지(edge), 깊이(depth), 선명도(sharpness), 채도, 명도, 깊이 및 이들의 시공간적 변화값 중 적어도 하나를 포함하는 것인 행동 인식 방법
|
| 5 |
5
제 1 항에 있어서, 상기 통합 영상 세그먼트를 구성하는 단계는 상기 제2 뉴럴 네트워크에 포함된 복수의 제1 레이어 중에서 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하는 단계;상기 제2 뉴럴 네트워크에 포함된 복수의 제2 레이어를 통해, 상기 특징맵을 기초로 상기 영상 세그먼트의 속성 정보가 변형되거나, 기 저장된 다른 이미지들의 특징 정보가 합성된 하나 이상의 미래영상 프레임을 생성하는 단계; 및 상기 영상 세그먼트에 상기 하나 이상의 미래영상 프레임을 더하여 상기 통합 영상 세그먼트를 구성하는 단계를 포함하는 것인 행동 인식 방법
|
| 6 |
6
제 5 항에 있어서, 상기 통합 영상 세그먼트를 구성하는 단계는 상기 제2 뉴럴 네트워크에 포함된 복수의 제3 레이어를 통해, 상기 생성된 하나 이상의 미래영상 프레임이 상기 영상 세그먼트에 실질적으로 연속할 확률을 판별하는 단계; 및상기 판별된 확률값을 상기 복수의 제1 레이어 및 상기 제2 레이어로 피드백하여, 상기 하나 이상의 미래영상 프레임을 재생성하는 단계를 포함하는 것인 행동 인식 방법
|
| 7 |
7
제 1 항에 있어서, 상기 행동 유형 및 행동 시점을 판별하는 단계는 상기 제3 뉴럴 네트워크에 포함된 복수의 레이어 중 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하는 단계; 및상기 특징맵을 제1 분류기에 입력 데이터로 적용하여 상기 통합 영상 세그먼트 내의 객체의 행동 유형을 식별하고, 상기 제1 분류기의 결과값을 제2 분류기의 입력 데이터로 적용하여 상기 통합 영상 세그먼트 내의 객체의 행동이 발현되는 시점이 상기 행동 유형의 끝 또는 시작 시점에 대응되는지 여부를 검출하는 단계를 포함하는 것인 행동 인식 방법
|
| 8 |
8
영상에 포함된 객체의 행동을 인식하는 프로그램이 저장된 메모리; 및상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 프로그램이 실행됨에 따라, 영상 세그먼트를 획득하고, 제1 뉴럴 네트워크를 통해 상기 영상 세그먼트 내에 객체의 행동이 존재하는지 여부를 판별하며, 상기 영상 세그먼트 내에 객체의 행동이 존재하면, 제2 뉴럴 네트워크를 통해 상기 영상 세그먼트에 연속하는 하나 이상의 미래영상 프레임을 생성하여 통합 영상 세그먼트를 구성하고, 제3 뉴럴 네트워크를 통해 상기 통합 영상 세그먼트 내의 상기 객체의 행동 유형 및 행동 시점을 검출하되, 상기 제1 뉴럴 네트워크는 독립적으로 학습되며, 상기 제2 뉴럴 네트워크와 상기 제3 뉴럴 네트워크는 의존적으로 학습되는 것인 행동 인식 장치
|
| 9 |
9
제 8 항에 있어서, 상기 제2 뉴럴 네트워크는 상기 제3 뉴럴 네트워크의 손실함수의 값을 기초로 학습되며, 상기 제3 뉴럴 네트워크는 상기 제2 뉴럴 네트워크의 결과값을 기초로 학습되는 것인 행동 인식 장치
|
| 10 |
10
제 8 항에 있어서, 상기 프로세서는 상기 제1 뉴럴 네트워크에 포함된 복수의 레이어 중 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하고, 상기 제1 뉴럴 네트워크에 포함된 이진분류기에 상기 특징맵을 입력 데이터로 적용하여 상기 영상 세그먼트 내에 상기 객체의 행동이 존재하는지 여부를 판별하는 것인 행동 인식 장치
|
| 11 |
11
제 8 항에 있어서, 상기 프로세서는상기 제2 뉴럴 네트워크에 포함된 복수의 제1 레이어 중에서 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하고, 상기 제2 뉴럴 네트워크에 포함된 복수의 제2 레이어를 통해 상기 특징맵을 기초로 상기 영상 세그먼트의 속성 정보가 변형되거나 기 저장된 다른 이미지들의 특징 정보가 합성된 하나 이상의 미래영상 프레임을 생성하며, 상기 영상 세그먼트에 상기 하나 이상의 미래영상 프레임을 더하여 상기 통합 영상 세그먼트를 구성하는 것인 행동 인식 장치
|
| 12 |
12
제 8 항에 있어서, 상기 프로세서는상기 제3 뉴럴 네트워크에 포함된 복수의 레이어 중 마지막 레이어에서 추출된 속성 정보를 조합하여 특징맵을 획득하고, 상기 특징맵을 제1 분류기에 입력 데이터로 적용하여 상기 통합 영상 세그먼트 내의 객체의 행동 유형을 식별하고, 상기 제1 분류기의 결과값을 제2 분류기의 입력 데이터로 적용하여 상기 통합 영상 세그먼트 내의 객체의 행동이 발현되는 시점이 상기 행동 유형의 끝 또는 시작 시점에 대응되는지 여부를 검출하는 것인 행동 인식 장치
|
| 13 |
13
제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
|
