| 1 |
1
전자 장치에 의한 인간 행동 인식 방법에 있어서,적어도 하나의 가속도 센서로부터 사용자의 움직임에 대응하는 제1 입력 신호를 획득하는 단계;적어도 하나의 자이로스코프 센서로부터 상기 사용자의 움직임에 대응하는 제2 입력 신호를 획득하는 단계;제1 모델을 이용하여 상기 제1 입력 신호에 대응하는 제1 모달리티(modality) 특징을 추출하는 단계;제2 모델을 이용하여 상기 제2 입력 신호에 대응하는 제2 모달리티 특징을 추출하는 단계; 및제3 모델을 이용하여 상기 제1 모달리티 특징 및 상기 제2 모달리티 특징을 융합하여 획득된 멀티 모달리티 특징으로부터 상기 사용자의 행동 범주를 분류하는 단계를 포함하되,상기 제1 입력 신호를 획득하는 단계는:제1 샘플링 레이트(sampling rate)에 대응하여 상기 사용자의 움직임에 대응하는 제1 센싱 신호를 획득하는 단계; 및슬라이딩 윈도우(sliding window) 방식을 기반으로 상기 제1 센싱 신호로부터 상기 제1 입력 신호를 획득하는 단계를 포함하고,상기 제2 입력 신호를 획득하는 단계는:제2 샘플링 레이트에 대응하여 상기 사용자의 움직임에 대응하는 제2 센싱 신호를 획득하는 단계; 및상기 슬라이딩 윈도우 방식을 기반으로 상기 제2 센싱 신호로부터 상기 제2 입력 신호를 획득하는 단계를 포함하고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 인간 행동 범주 예측과 관련된 지도(supervised) 학습 및 상기 제1 입력 신호 및 상기 제2 입력 신호의 페어링(pairing)과 관련된 비지도(unsupervised) 학습을 수행하고,상기 지도 학습은 상기 제1 센싱 신호, 상기 제2 센싱 신호 및 상기 사용자의 행동 범주에 대응하는 레이블을 기반으로 수행되고,상기 비지도 학습은 상기 사용자의 하나의 움직임으로부터 획득된 상기 제1 입력 신호 및 상기 제2 입력 신호를 매칭하도록 수행되고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 하기 수학식 1의 최종 손실 함수()를 기반으로 상기 인간 행동 범주를 분류하기 위한 학습을 수행하는 인간 행동 인식 방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
제1 항에 있어서,상기 제1 임베딩은 하기 수학식 2에 의하여 도출되고,상기 제2 임베딩은 하기 수학식 3에 의하여 도출되는 인간 행동 인식 방법
|
| 6 |
6
제1 항에 있어서,상기 제1 입력 신호에 대응하는 제1 모달리티 특징을 추출하는 단계는:상기 제1 입력 신호에 대한 제1 합성곱 연산을 수행하고, 상기 제1 합성곱 연산의 결과에 대한 제1 최대 풀링(max pooling) 연산을 수행하는 단계;상기 제1 최대 풀링 연산의 결과에 대한 제2 합성곱 연산을 수행하고, 상기 제2 합성곱 연산의 결과에 대한 제2 최대 풀링 연산을 수행하는 단계;상기 제2 최대 풀링 연산의 결과에 대한 제3 합성곱 연산을 수행하는 단계; 및상기 제3 합성곱 연산에 대한 전역 평균(global average pooling, GAP) 연산을 수행하여 상기 제1 모달리티 특징을 추출하는 단계를 포함하는 인간 행동 인식 방법
|
| 7 |
7
제1 항에 있어서,상기 멀티 모달리티 특징으로부터 상기 사용자의 행동 범주를 분류하는 단계는 배치 정규화(batch normalization) 및 드롭 아웃(dropout) 기법이 적용되는 인간 행동 인식 방법
|
| 8 |
8
제1 항에 있어서,상기 멀티 모달리티 특징으로부터 상기 사용자의 행동 범주를 분류하는 단계는 소프트맥스(softmax) 함수를 이용하는 인간 행동 인식 방법
|
| 9 |
9
명령어를 저장하는 메모리; 및프로세서를 포함하되,상기 메모리와 연결되는 상기 프로세서는,제1 모델을 이용하여 사용자의 움직임과 관련하여 적어도 하나의 가속도 센서로부터 획득된 제1 입력 신호에 대응하는 제1 모달리티(modality) 특징을 추출하고,제2 모델을 이용하여 상기 사용자의 움직임과 관련하여 적어도 하나의 자이로스코프 센서로부터 획득된 제2 입력 신호에 대응하는 제2 모달리티 특징을 추출하고,제3 모델을 이용하여 상기 제1 모달리티 특징 및 상기 제2 모달리티 특징을 융합하여 획득된 멀티 모달리티 특징으로부터 상기 사용자의 행동 범주를 분류하되,상기 제1 입력 신호는 제1 샘플링 레이트(sampling rate)에 대응하여 상기 사용자의 움직임에 대응하여 획득된 제1 센싱 신호로부터 슬라이딩 윈도우(sliding window) 방식을 기반으로 획득되고,상기 제2 입력 신호는 제2 샘플링 레이트에 대응하여 상기 사용자의 움직임에 대응하여 획득된 제2 센싱 신호로부터 상기 슬라이딩 윈도우 방식을 기반으로 획득되고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 인간 행동 범주 예측과 관련된 지도(supervised) 학습 및 상기 제1 입력 신호 및 상기 제2 입력 신호의 페어링(pairing)과 관련된 비지도(unsupervised) 학습을 수행하고,상기 지도 학습은 상기 제1 센싱 신호, 상기 제2 센싱 신호 및 상기 사용자의 행동 범주에 대응하는 레이블을 기반으로 수행되고,상기 비지도 학습은 상기 사용자의 하나의 움직임으로부터 획득된 상기 제1 입력 신호 및 상기 제2 입력 신호를 매칭하도록 수행되고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 하기 수학식 1의 최종 손실 함수()를 기반으로 인간 행동 범주를 분류하기 위한 학습을 수행하는 인간 행동 인식 장치
|
| 10 |
10
하드웨어와 결합되어, 인간 행동 인식 방법을 실행시키기 위하여 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,상기 인간 행동 인식 방법은:적어도 하나의 가속도 센서로부터 사용자의 움직임에 대응하는 제1 입력 신호를 획득하는 단계;적어도 하나의 자이로스코프 센서로부터 상기 사용자의 움직임에 대응하는 제2 입력 신호를 획득하는 단계;제1 모델을 이용하여 상기 제1 입력 신호에 대응하는 제1 모달리티(modality) 특징을 추출하는 단계;제2 모델을 이용하여 상기 제2 입력 신호에 대응하는 제2 모달리티 특징을 추출하는 단계; 및제3 모델을 이용하여 상기 제1 모달리티 특징 및 상기 제2 모달리티 특징을 융합하여 획득된 멀티 모달리티 특징으로부터 상기 사용자의 행동 범주를 분류하는 단계를 포함하되,상기 제1 입력 신호를 획득하는 단계는:제1 샘플링 레이트(sampling rate)에 대응하여 상기 사용자의 움직임에 대응하는 제1 센싱 신호를 획득하는 단계; 및슬라이딩 윈도우(sliding window) 방식을 기반으로 상기 제1 센싱 신호로부터 상기 제1 입력 신호를 획득하는 단계를 포함하고,상기 제2 입력 신호를 획득하는 단계는:제2 샘플링 레이트에 대응하여 상기 사용자의 움직임에 대응하는 제2 센싱 신호를 획득하는 단계; 및상기 슬라이딩 윈도우 방식을 기반으로 상기 제2 센싱 신호로부터 상기 제2 입력 신호를 획득하는 단계를 포함하고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 인간 행동 범주 예측과 관련된 지도(supervised) 학습 및 상기 제1 입력 신호 및 상기 제2 입력 신호의 페어링(pairing)과 관련된 비지도(unsupervised) 학습을 수행하고,상기 지도 학습은 상기 제1 센싱 신호, 상기 제2 센싱 신호 및 상기 사용자의 행동 범주에 대응하는 레이블을 기반으로 수행되고,상기 비지도 학습은 상기 사용자의 하나의 움직임으로부터 획득된 상기 제1 입력 신호 및 상기 제2 입력 신호를 매칭하도록 수행되고,상기 제1 모델, 상기 제2 모델 및 상기 제3 모델은 하기 수학식 1의 최종 손실 함수()를 기반으로 인간 행동 범주를 분류하기 위한 학습을 수행하는 컴퓨터 프로그램
|
