| 1 |
1
레이블링을 위한 장치에 있어서, 컬러 프레임, 뎁스 프레임 및 음성을 포함하는 복수의 프레임을 포함하는 스트리밍 영상 데이터가 입력되면, 학습이 완료된 학습모델을 통해 상기 복수의 프레임 각각에 나타난 검사자 혹은 피검자의 행위가 복수의 유형의 행위 각각에 속할 확률을 산출하고, 산출된 확률에 따라 상기 복수의 프레임 각각에 나타난 검사자 혹은 피검자의 행위를 추정하는 레이블도출부; 및 상기 복수의 프레임 중 상기 레이블도출부가 추정한 행위가 동일한 연속된 프레임의 시작 시간 및 종료 시간을 검출하고, 상기 스트리밍 영상 데이터에 대해 검출된 시작 시간 및 종료 시간에 대응하여 상기 추정된 행위를 레이블링하는 레이블처리부; 를 포함하는 것을 특징으로 하는 레이블링을 위한 장치
|
| 2 |
2
제1항에 있어서, 각 타임라인 별로 검사자 혹은 피검자의 행위의 유형을 나타내는 매뉴얼 레이블이 부여되어 있고 복수의 프레임을 포함하는 스트리밍 영상 데이터인 학습용 영상 데이터를 마련하고, 학습모델에 상기 학습용 영상 데이터의 복수의 프레임을 순차로 입력하고, 학습모델이 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 상기 복수의 프레임 각각에 나타난 검사자 혹은 피검자의 행위가 복수의 유형의 행위 각각에 속할 확률을 출력값으로 산출하면, 산출된 출력값과 상기 매뉴얼 레이블과의 차이가 최소가 되도록 상기 학습모델의 가중치를 수정하는 최적화를 수행하는 모델생성부;를 더 포함하는 것을 특징으로 하는 레이블링을 위한 장치
|
| 3 |
3
제2항에 있어서, 상기 학습모델은 스트리밍 영상의 복수의 프레임을 순차로 입력받는 입력층; 적어도 하나의 컨벌루션계층; 적어도 하나의 풀링계층; 적어도 하나의 완전연결계층; 및 검사자 혹은 피검자의 복수의 유형의 행위 각각에 대응하는 출력 노드를 포함하는 출력계층;을 포함하는 것을 특징으로 하는 레이블링을 위한 장치
|
| 4 |
4
제2항에 있어서, 상기 모델생성부는 손실함수의 값인 손실이 최소가 되도록 학습모델의 가중치를 수정하는 최적화를 수행하며, 상기 L은 손실을 나타내고, 상기 n은 학습용 영상 데이터의 프레임의 수이고, 상기 t는 프레임의 인덱스이고, 상기 w는 학습모델이 분류할 수 있는 피검자의 행위의 수에 비례하여 증가하는 하이퍼파라미터이며, 상기 s는 검사자의 행위인지 혹은 피검자의 행위인지 여부를 구분하는 매뉴얼 레이블이고, 상기 a는 피검자의 행위의 유형을 나타내는 매뉴얼 레이블이고, 상기 e(t)는 출력값 중 검사자의 행위를 나타내는 출력노드의 출력값의 합과, 피검자의 행위를 나타내는 출력노드의 출력값의 합을 나타내며, 상기 b(t)는 출력값 중 피검자의 행위의 유형에 대응하는 출력노드 각각의 출력값을 나타내는 것을 특징으로 하는 레이블링을 위한 장치
|
| 5 |
5
레이블링을 위한 방법에 있어서, 레이블도출부가 컬러 프레임, 뎁스 프레임 및 음성을 포함하는 복수의 프레임을 포함하는 스트리밍 영상 데이터가 입력되면, 학습이 완료된 학습모델을 통해 상기 복수의 프레임 각각에 나타난 검사자 혹은 피검자의 행위가 복수의 유형의 행위 각각에 속할 확률을 산출하는 단계; 상기 레이블도출부가 상기 산출된 확률에 따라 상기 복수의 프레임 각각에 나타난 검사자 혹은 피검자의 행위를 추정하는 단계; 레이블처리부가 상기 복수의 프레임 중 상기 레이블도출부가 추정한 행위가 동일한 연속된 프레임의 시작 시간 및 종료 시간을 검출하는 단계; 및 상기 레이블처리부가 상기 스트리밍 영상 데이터에 대해 검출된 시작 시간 및 종료 시간에 대응하여 상기 추정된 행위를 레이블링하는 단계;를 포함하는 것을 특징으로 하는 레이블링을 위한 방법
|
