| 1 |
1
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치이고, 입력 영상을 기 설정된 제1 크기로 리사이징하며, 리사이징 된 상기 입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 마스크 이미지 생성 모듈;상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 영상 합성 모듈; 및상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 행동 인식 모듈을 포함하고, 상기 마스크 이미지 생성 모듈은, 상기 입력 영상에서 기 설정된 종류의 오브젝트를 분류하여 인식하고, 인식된 오브젝트의 경계 영역을 검출하도록 학습되는 제1 인공 신경망 모델을 포함하며,상기 행동 인식 모듈은, 상기 영상 합성 이미지를 상기 제1 크기보다 작은 제2 크기로 리사이징 하고, 리사이징 된 상기 영상 합성 이미지의 무작위 부분을 크로핑하여 상기 제2 크기보다 작은 제3 크기로 조정하는 영상 전처리부; 및상기 제3 크기로 조정된 상기 영상 합성 이미지에서 상기 오브젝트의 행동을 인식하도록 학습되는 제2 인공 신경망 모델을 구비하는 행동 인식부를 포함하고, 상기 영상 전처리부는,상기 제2 인공 신경망 모델의 학습 단계에서 상기 제3 크기로 조정된 영상 합성 이미지를 무작위한 방향으로 반전시켜 상기 행동 인식부로 출력하며, 상기 제2 인공 신경망 모델의 예측 단계에서 상기 제3 크기로 조정된 영상 합성 이미지를 반전시키지 않고 상기 행동 인식부로 출력하는, 행동 인식 장치
|
| 2 |
2
삭제
|
| 3 |
3
청구항 1에 있어서, 상기 마스크 이미지 생성 모듈은, 상기 오브젝트의 경계 영역에서 기 설정된 부분까지 확장된 오브젝트 연장 경계 영역을 설정하고, 상기 오브젝트 연장 경계 영역 내의 픽셀 값은 화이트가 되게 하고, 상기 오브젝트 연장 경계 영역 이외의 픽셀 값은 블랙이 되도록 하여 상기 화이트 마스크 이미지를 생성하는, 행동 인식 장치
|
| 4 |
4
청구항 3에 있어서, 상기 마스크 이미지 생성 모듈은, 상기 오브젝트의 경계 영역의 중심에서 상기 오브젝트의 각 경계까지의 거리인 경계 거리를 산출하고, 상기 오브젝트의 경계 영역의 중심에서 상기 산출된 경계 거리보다 기 설정된 거리만큼 연장된 연장 경계 거리를 산출하며, 상기 연장 경계 거리에 기반하여 상기 오브젝트의 연장 경계를 설정하는, 행동 인식 장치
|
| 5 |
5
청구항 3에 있어서, 상기 영상 합성 모듈은, 상기 입력 영상과 상기 화이트 마스크 이미지를 AND 연산하여 영상 합성 이미지를 생성하는, 행동 인식 장치
|
| 6 |
6
삭제
|
| 7 |
7
청구항 1에 있어서, 상기 제2 인공 신경망 모델은, 상기 영상 합성 이미지를 입력으로 하고, 상기 영상 합성 이미지에서 시공간 특징 벡터를 추출하는 하나 이상의 특징 추출 계층;상기 특징 추출 계층과 연결되고, 상기 특징 추출 계층에서 출력되는 시공간 특징 벡터에 풀링(Pooling) 연산을 수행하는 풀링 층; 및상기 풀링 층과 연결되고, 상기 풀링 층에서 출력되는 시공간 특징 벡터를 기반으로 상기 오브젝트의 행동에 대한 분류 값을 출력하는 완전 연결층을 포함하는, 행동 인식 장치
|
| 8 |
8
청구항 7에 있어서, 상기 특징 추출 계층은, 기 설정된 제1 필터를 통해 상기 영상 합성 이미지에서 공간적인 특징의 공간 특징 벡터를 추출하는 제1 컨벌루션층; 및상기 제1 컨벌루션층에 연결되고, 기 설정된 제2 필터를 통해 상기 공간 특징 벡터에서 시간적인 특징을 추출하여 상기 영상 합성 이미지에 대한 시공간 특징 벡터를 출력하는 제2 컨벌루션층을 포함하는, 행동 인식 장치
|
| 9 |
9
하나 이상의 프로세서들, 및상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 영상을 기 설정된 제1 크기로 리사이징 하는 동작;상기 리사이징 된 입력 영상에서 기 설정된 종류의 오브젝트를 인식하고, 인식된 오브젝트에 대해 화이트 마스크 이미지를 생성하는 동작;상기 입력 영상과 상기 화이트 마스크 이미지를 합성하여 영상 합성 이미지를 생성하는 동작; 및상기 영상 합성 이미지를 입력으로 하여 상기 오브젝트의 행동을 인식하는 동작을 포함하고, 상기 화이트 마스크 이미지를 생성하는 동작은, 상기 입력 영상에서 기 설정된 종류의 오브젝트를 분류하여 인식하고, 인식된 오브젝트의 경계 영역을 검출하도록 제1 인공 신경망 모델을 학습하는 동작을 포함하며,상기 오브젝트의 행동을 인식하는 동작은, 상기 영상 합성 이미지를 상기 제1 크기보다 작은 제2 크기로 리사이징 하는 동작; 리사이징 된 상기 영상 합성 이미지의 무작위 부분을 크로핑하여 상기 제2 크기보다 작은 제3 크기로 조정하는 동작; 및상기 제3 크기로 조정된 영상 합성 이미지에서 제2 인공 신경망 모델을 통해 상기 오브젝트의 행동을 인식하도록 하는 동작을 포함하고,상기 오브젝트의 행동을 인식하는 동작은, 상기 제2 인공 신경망 모델의 학습 단계에서 상기 제3 크기로 조정된 영상 합성 이미지를 무작위한 방향으로 반전시켜 상기 제2 인공 신경망 모델로 입력하는 동작; 및상기 제2 인공 신경망 모델의 예측 단계에서 상기 제3 크기로 조정된 영상 합성 이미지를 반전시키지 않고 상기 제2 인공 신경망 모델로 입력하는 동작을 더 포함하는, 행동 인식 방법
|
