| 1 |
1
적어도 하나의 명령어(instruction)를 저장하는 적어도 하나의 메모리(memory); 및상기 메모리에 연결되는 적어도 하나의 프로세서(processor)를 포함하고,상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여:시간 축 상에서 예측 시점 t로부터 이전에 위치한 기 설정된 시간 범위 내에 위치하는 입력 이미지 시퀀스를 순차적으로 입력받고, 여기서 상기 입력 이미지 시퀀스는 각각이 사람의 얼굴을 포함하는 복수의 이미지를 포함하고;상기 입력 이미지 시퀀스에 기초하여 학습 모델을 학습시키고; 및상기 학습 모델로부터 사람의 각성도(valence) 값 및 유의성(arousal) 값을 출력하도록 구성되고,상기 학습 모델은,CNN(Convolutional Neural Network) 모델을 기반으로 구성되며, 상기 입력 이미지 시퀀스를 입력받아 피쳐(feature)를 추출하는 피쳐 추출 레이어;상기 피쳐를 입력받아 히든 스테이트(hidden state)를 출력하는 LSTM(Long Short-Term Memory) 레이어; 및상기 히든 스테이트를 입력받아 상기 각성도 값 및 상기 유의성 값을 추출하는 FC(Fully-Connected) 레이어를 포함하는,전자 장치
|
| 2 |
2
제1항에 있어서,상기 피쳐 추출 레이어는:상기 입력 이미지 시퀀스를 입력받아 컨볼루션(convolution) 연산을 수행하는 입력 CNN 블록;상기 입력 CNN 블록의 출력에 대하여 풀링(pooling) 연산을 수행하는 풀링 레이어; 및상기 풀링 레이어의 출력으로부터 상기 피쳐를 추출하는 그룹 레이어를 포함하는,전자 장치
|
| 3 |
3
제2항에 있어서,상기 그룹 레이어는 복수의 스테이지를 포함하고,상기 복수의 스테이지 각각은:상기 복수의 스테이지 각각의 입력에 대하여 컨볼루션 연산을 수행하는 잔차 CNN 블록;상기 잔차 CNN 블록의 입력에 대하여 추출(squeeze) 및 재조정(excitation) 연산을 수행하는 SE(Squeeze and Excitation) 블록; 및상기 복수의 스테이지 각각의 입력을 상기 잔차 CNN 블록 및 상기 SE 블록의 출력에 더하는 숏컷(shortcut) 블록을 더 포함하는,전자 장치
|
| 4 |
4
제1항에 있어서,상기 기 설정된 시간 범위는 [t - (d + n/f)]로 정의되고,여기서 d는 예측 소요 시간, n은 s만큼의 간격을 갖는 0 내지 f x (w - d)로 정의되는 범위, f는 상기 입력 이미지 시퀀스의 프레임, s는 상기 입력 이미지 시퀀스의 스트라이드(stride) 이미지의 개수, w는 기 설정된 윈도우 크기인,전자 장치
|
| 5 |
5
제1항에 있어서,상기 입력 이미지 시퀀스가 상기 학습 모델의 학습을 위한 훈련 데이터인 경우, 상기 각성도 값 및 상기 유의성 값이 라벨로서 페어링되는,전자 장치
|
| 6 |
6
제5항에 있어서,상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여:상기 훈련 데이터를 상기 학습 모델에 입력하여 상기 각성도 값 및 상기 유의성 값의 예측 값을 획득하고; 및상기 예측 값과 상기 라벨로 정의되는 손실 함수에 기초하여 상기 학습 모델을 학습시키도록 더 구성되는,전자 장치
|
| 7 |
7
제6항에 있어서,상기 손실 함수는 으로 정의되고, 여기서 은 상기 손실 함수, n은 상기 훈련 데이터의 개수, 및 는 상기 예측 값, 및 는 상기 라벨, i는 훈련 회차인,전자 장치
|
| 8 |
8
제4항에 있어서,상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어를 실행하여:상기 입력 이미지 시퀀스에서 t - (d + (n + s)/f) 시점에 대응되는 이미지가 존재하지 않는 경우, t - (d + n/f) + 1 시점까지 순차적으로 탐색하면서 다음 이미지를 샘플링하도록 더 구성되는,전자 장치
|
| 9 |
9
제1항에 있어서,상기 피쳐 추출 레이어는 다른 FC 레이어를 포함하지 않도록 구성되는,전자 장치
|
| 10 |
10
전자 장치에 의해 수행되는 동작 방법으로서,시간 축 상에서 예측 시점 t로부터 이전에 위치한 기 설정된 시간 범위 내에 위치하는 입력 이미지 시퀀스를 순차적으로 입력받는 단계, 여기서 상기 입력 이미지 시퀀스는 각각이 사람의 얼굴을 포함하는 복수의 이미지를 포함하고;상기 입력 이미지 시퀀스에 기초하여 학습 모델을 학습시키는 단계; 및상기 학습 모델로부터 사람의 각성도(valence) 값 및 유의성(arousal) 값을 출력하는 단계를 포함하고,상기 학습 모델은,CNN(Convolutional Neural Network) 모델을 기반으로 구성되며, 상기 입력 이미지 시퀀스를 입력받아 피쳐(feature)를 추출하는 피쳐 추출 레이어;상기 피쳐를 입력받아 히든 스테이트(hidden state)를 출력하는 LSTM(Long Short-Term Memory) 레이어; 및상기 히든 스테이트를 입력받아 상기 각성도 값 및 상기 유의성 값을 추출하는 FC(Fully-Connected) 레이어를 포함하는,동작 방법
|
| 11 |
11
제10항에 있어서,상기 기 설정된 시간 범위는 [t - (d + n/f)]로 정의되고,여기서 d는 예측 소요 시간, n은 s만큼의 간격을 갖는 0 내지 f x (w - d)로 정의되는 범위, f는 상기 입력 이미지 시퀀스의 프레임, s는 상기 입력 이미지 시퀀스의 스트라이드(stride) 이미지의 개수, w는 기 설정된 윈도우 크기인,동작 방법
|
| 12 |
12
제10항에 있어서,상기 입력 이미지 시퀀스가 상기 학습 모델의 학습을 위한 훈련 데이터인 경우, 상기 각성도 값 및 상기 유의성 값이 라벨로서 페어링되고,상기 동작 방법은:상기 훈련 데이터를 상기 학습 모델에 입력하여 상기 각성도 값 및 상기 유의성 값의 예측 값을 획득하는 단계; 및상기 예측 값과 상기 라벨로 정의되는 손실 함수에 기초하여 상기 학습 모델을 학습시키는 단계를 더 포함하는,동작 방법
|
| 13 |
13
제12항에 있어서,상기 손실 함수는 으로 정의되고, 여기서 은 상기 손실 함수, n은 상기 훈련 데이터의 개수, 및 는 상기 예측 값, 및 는 상기 라벨, i는 훈련 회차인,동작 방법
|
| 14 |
14
제11항에 있어서,상기 동작 방법은:상기 입력 이미지 시퀀스에서 t - (d + n/f) 시점에 대응되는 이미지가 존재하지 않는 경우, t - (d + (n + s)/f) + 1 시점까지 순차적으로 탐색하면서 다음 이미지를 샘플링하는 단계를 더 포함하는,동작 방법
|
| 15 |
15
컴퓨터가 읽을 수 있는 코드로서, 전자 장치의 동작 방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서,상기 동작 방법은:시간 축 상에서 예측 시점 t로부터 이전에 위치한 기 설정된 시간 범위 내에 위치하는 입력 이미지 시퀀스를 순차적으로 입력받는 단계, 여기서 상기 입력 이미지 시퀀스는 각각이 사람의 얼굴을 포함하는 복수의 이미지를 포함하고;상기 입력 이미지 시퀀스에 기초하여 학습 모델을 학습시키는 단계; 및상기 학습 모델로부터 사람의 각성도(valence) 값 및 유의성(arousal) 값을 출력하는 단계를 포함하고,상기 학습 모델은,CNN(Convolutional Neural Network) 모델을 기반으로 구성되며, 상기 입력 이미지 시퀀스를 입력받아 피쳐(feature)를 추출하는 피쳐 추출 레이어;상기 피쳐를 입력받아 히든 스테이트(hidden state)를 출력하는 LSTM(Long Short-Term Memory) 레이어; 및상기 히든 스테이트를 입력받아 상기 각성도 값 및 상기 유의성 값을 추출하는 FC(Fully-Connected) 레이어를 포함하는,기록매체
|
