| 1 |
1
안전성이 고려된 계층적 클래스 학습을 사용하는 사람 행동 인식 시스템에 있어서, 대상자를 포함한 복수의 영상를 미리 지정된 행동별로 서브 세트화하여 복수의 행동 클래스를 형성하고 상기 복수의 영상에 행동 레이블을 할당하는 행동 클래스 정의부 - 각각의 행동 클래스는 영상 내 대상자가 동일 또는 유사한 행동을 취한 영상으로 이루어지며, 동일한 행동 클래스에 포함된 영상에는 동일한 행동 레이블이 할당됨; 상기 복수의 영상에 대해서 안전 지수를 산출하고, 안전 지수에 기초하여 상기 복수의 영상을 서브 세트화하여 복수의 안전 클래스를 형성하고 상기 복수의 영상에 안전 레이블을 추가로 할당하는 안전 클래스 정의부 - 상기 안전 지수는 상기 영상 내 대상자와 상이한 객체를 인식하고 인식된 객체가 상기 대상자에 대해 갖는 포즈에 기초하여 평가됨; 행동 레이블 및 안전 레이블이 할당되어 계층적 클래스로 정의된 복수의 영상을 훈련 영상(training image)으로 사용하여 행동 인식 모델을 학습하는 학습부를 포함하는 시스템
|
| 2 |
2
제1항에 있어서, 상기 복수의 영상에 대해 정의된 행동 클래스 및 안전 클래스에 기초하여 해당 영상의 대상자와 상호작용하기 위한 로봇 반응별로 상기 복수의 영상을 서브 세트화하여 복수의 로봇 반응 클래스를 형성하고 상기 복수의 영상에 반응 레이블을 추가로 할당하는 로봇 반응 클래스 정의부를 더 포함하고, 상기 학습부는 상기 행동 레이블, 안전 레이블 및 반응 레이블이 할당되어 계층적 클래스로 정의된 복수의 영상을 훈련 영상(training image)으로 사용하여 행동 인식 모델을 학습하는 것을 특징으로 하는 시스템
|
| 3 |
3
제1항에 있어서, 학습된 행동 인식 모델에 대상 영상 데이터를 입력하여 영상 내 사람의 행동을 인식하고, 인식된 행동의 안전성을 평가하는 인식부;를 더 포함하는 것을 특징으로 하는 시스템
|
| 4 |
4
제1항에 있어서, 상기 복수의 행동 클래스는 실생활 상황과 관련된 하나 이상의 행동 클래스, 그리고 위급한 상황과 관련된 하나 이상의 행동 클래스를 포함하고, 상기 위급한 상황은 자살 및 사고 중 하나 이상을 포함하는 것을 특징으로 하는 시스템
|
| 5 |
5
제4항에 있어서, 상기 복수의 영상은 상기 위급한 상황이 묘사된 영상을 포함하고, 상기 위급한 상황이 묘사된 영상 중 적어도 하나는 상기 위급한 행동을 가상 공간에서 구현한 증강 모델을 렌더링하여 생성된 것을 특징으로 하는 시스템
|
| 6 |
6
제5항에 있어서,상기 증강 모델을 렌더링하여 생성된 위급한 상황이 묘사된 영상은 가상 공간 상에 구현된 가상 객체와 실제 대상자가 증강 현실에서 상호작용한 영상인 것을 특징으로 하는 시스템
|
| 7 |
7
제1항에 있어서, 상기 행동 클래스 정의부는 대상자의 관절의 위치정보를 산출하고 산출된 관절의 위치정보에 기초하여 대상자의 행동을 인식하는 3D 사람 자세 추정 알고리즘을 포함하는 것을 특징으로 하는 시스템
|
| 8 |
8
제7항에 있어서, 상기 3D 사람 자세 추정 알고리즘은, 입력 영상에 대해서 픽셀별로 상기 관절이 위치할 수 있는 신뢰도 점수를 출력하도록 더 구성되는 것을 특징으로 하는 시스템
|
| 9 |
9
제1항에 있어서, 상기 안전 클래스 정의부는 상기 객체를 인식하는 객체 인식 서브모델; 및 안전 지수를 산출하기 위하여 상기 객체의 자세를 추정하는 6D 자세 추정 알고리즘을 포함하고, 상기 안전 레이블은 안전을 가리키는 제1 레이블 또는 위급을 가리키는 제2 레이블을 포함하는 것을 특징으로 하는 시스템
|
| 10 |
10
제1항 또는 제2항에 있어서,상기 행동 인식 모델은 그래프 컨볼루션 뉴럴 네트워크를 포함하고,상기 학습부는 계층적으로 정의된 영상 데이터를 학습 데이터로 사용하여, 상기 그래프 컨볼루션 뉴럴 네트워크에 포함된 파라미터를 학습하는 것을 특징으로 하는 시스템
|
| 11 |
11
프로세서에 의해 수행되는 안전성이 고려된 계층적 클래스 학습을 사용하는 사람 행동 인식 방법에 있어서,대상자를 포함한 복수의 영상을 획득하는 단계;대상자를 포함한 복수의 영상를 미리 지정된 행동별로 서브 세트화하여 복수의 행동 클래스를 형성하고 상기 복수의 영상에 행동 레이블을 할당하는 행동 클래스 정의 단계 - 각각의 행동 클래스는 영상 내 대상자가 동일 또는 유사한 행동을 취한 영상으로 이루어지며, 동일한 행동 클래스에 포함된 영상에는 동일한 행동 레이블이 할당됨; 상기 복수의 영상에 대해서 안전 지수를 산출하고, 안전 지수에 기초하여 상기 복수의 영상을 서브 세트화하여 복수의 안전 클래스를 형성하고 상기 복수의 영상에 안전 레이블을 추가로 할당하는 안전 클래스 정의 단계 - 상기 안전 지수는 상기 영상 내 대상자와 상이한 객체를 인식하고 인식된 객체가 상기 대상자에 대해 갖는 포즈에 기초하여 평가됨;행동 레이블 및 안전 레이블이 할당되어 계층적 클래스로 정의된 복수의 영상을 훈련 영상(training image)으로 사용하여 행동 인식 모델을 학습하는 단계를 포함하는 방법
|
| 12 |
12
제 11항에 있어서,상기 복수의 영상에 대해 정의된 행동 클래스 및 안전 클래스에 기초하여 해당 영상의 대상자와 상호작용하기 위한 로봇 반응별로 상기 복수의 영상을 서브 세트화하여 복수의 로봇 반응 클래스를 형성하고 상기 복수의 영상에 반응 레이블을 추가로 할당하는 로봇 반응 클래스 정의 단계를 더 포함하고, 상기 학습하는 단계는 상기 행동 레이블, 안전 레이블 및 반응 레이블이 할당되어 계층적 클래스로 정의된 복수의 영상을 훈련 영상(training image)으로 사용하여 행동 인식 모델을 학습하는 것을 특징으로 하는 방법
|
| 13 |
13
제11항에 있어서, 학습된 행동 인식 모델에 대상 영상 데이터를 입력하여 영상 내 사람의 행동을 인식하고, 인식된 행동의 안전성을 평가하는 인식하는 단계;를 더 포함하는 것을 특징으로 하는 방법
|
| 14 |
14
제11항에 있어서, 상기 복수의 행동 클래스는 실생활 상황과 관련된 하나 이상의 행동 클래스, 그리고 위급한 상황과 관련된 하나 이상의 행동 클래스를 포함하고, 상기 위급한 상황은 자살 및 사고 중 하나 이상을 포함하는 것을 특징으로 하는 방법
|
| 15 |
15
제14항에 있어서, 상기 복수의 영상은 상기 위급한 상황이 묘사된 영상을 포함하고, 상기 위급한 상황이 묘사된 영상 중 적어도 하나는 상기 위급한 행동을 가상 공간에서 구현한 증강 모델을 렌더링하여 생성된 것을 특징으로 하는 방법
|
| 16 |
16
제15항에 있어서,상기 증강 모델을 렌더링하여 생성된 위급한 상황이 묘사된 영상은 가상 공간 상에 구현된 가상 객체와 실제 대상자가 증강 현실에서 상호작용한 영상인 것을 특징으로 하는 방법
|
| 17 |
17
제11항에 있어서, 상기 행동 클래스 정의부는 대상자의 관절의 위치정보를 산출하고 산출된 관절의 위치정보에 기초하여 대상자의 행동을 인식하는 3D 사람 자세 추정 알고리즘을 포함하는 것을 특징으로 하는 방법
|
| 18 |
18
제17항에 있어서, 상기 3D 사람 자세 추정 알고리즘은, 입력 영상에 대해서 픽셀별로 상기 관절이 위치할 수 있는 신뢰도 점수를 출력하도록 더 구성되는 것을 특징으로 하는 방법
|
| 19 |
19
제11항에 있어서, 상기 안전 클래스 정의부는 상기 객체를 인식하는 객체 인식 서브모델; 및 안전 지수를 산출하기 위하여 상기 객체의 자세를 추정하는 6D 자세 추정 알고리즘을 포함하고, 상기 안전 레이블은 안전을 가리키는 제1 레이블 또는 위급을 가리키는 제2 레이블을 포함하는 것을 특징으로 하는 방법
|
| 20 |
20
제11항에 있어서,상기 행동 인식 모델은 그래프 컨볼루션 뉴럴 네트워크를 포함하고,상기 학습하는 단계는 계층적으로 정의된 영상 데이터를 학습 데이터로 사용하여, 상기 그래프 컨볼루션 뉴럴 네트워크에 포함된 파라미터를 학습하는 것을 특징으로 하는 방법
|
| 21 |
21
제11항 내지 제20항 중 어느 하나의 항에 따른 방법을 수행하게 하는 프로그램을 기록한, 컴퓨터 판독가능 기록매체
|
