| 1 |
1
딥 신경망 학습 방법에 있어서,(a) 모바일 에이전트에 입력된 현재 입력 영상 및 하나 이상의 이전 시퀀스 입력 영상을 포함하는 복수의 입력 영상 각각을 입력 값으로 하는 복수의 컨볼루션 신경망(CNN) 각각에 대하여 CNN 출력 값을 산출하는 단계;(b) 상기 현재 입력 영상 직전의 이전 시퀀스 입력 영상에 대한 CNN 출력 값을 입력 값으로 하는 컨볼루션 장단기기억(Convolution LSTM)에 대한 LSTM 출력 값과 상기 현재 입력 영상에 대한 CNN 출력 값을 입력 값으로 하여, 상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 단계; 및(c) 상기 현재 입력 영상에 대한 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력으로 하는 공간 변형 네트워크(Spatial Transformer Networks, STN)를 통해, 상기 모바일 에이전트에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 단계,를 포함하는 딥 신경망 학습 방법
|
| 2 |
2
제1항에 있어서,상기 현재 입력 영상보다 n만큼 이전의 시퀀스 입력 영상을 Ⅰt-n이라 할 때,상기 (b) 단계에서, 상기 Ⅰt-n의 LSTM 출력 값은 Ⅰt-n-1에 대한 CNN 출력 값을 입력 값으로 하는 컨볼루션 장단기기억(Convolution LSTM)에 대한 LSTM 출력 값과 상기 Ⅰt-n에 대한 CNN 출력 값을 입력 값으로 하여 산출되는 것인, 딥 신경망 학습 방법
|
| 3 |
3
제1항에 있어서,상기 현재 입력 영상에 대한 LSTM 출력 값은, 상기 현재 입력 영상 및 하나 이상의 이전 시퀀스 입력 영상을 포함하는 복수의 입력 영상에 대응하는 상기 모바일 에이전트의 움직임에 대한 정보를 포함하는 시각적 특징 벡터인 것인, 딥 신경망 학습 방법
|
| 4 |
4
제1항에 있어서,상기 컨볼루션 신경망의 출력 값은, 특징 맵의 크기를 줄이고, 상기 컨볼루션 신경망에 입력되는 입력 영상의 정보를 포함하는 시각적 특징 벡터인 것인, 딥 신경망 학습 방법
|
| 5 |
5
제1항에 있어서,상기 (c) 단계는,(c1) 상기 (b) 단계에서 산출된 상기 현재 입력 영상에 대한 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력 값으로 하여, 상기 공간 변형 네트워크에 포함된 로컬라이저를 통해 상기 현재 입력 영상과 상기 모바일 에이전트의 다음 입력 영상 간의 영상 움직임 차이를 나타내는 어파인(Affine) 행렬을 생성하는 단계;(c2) 상기 어파인 행렬 및 상기 현재 입력 영상을 그리드 제너레이터(grid generator)의 입력 값으로 하여 상기 현재 입력 영상과 상기 다음 입력 영상 간의 픽셀 위치를 맵핑하는 단계; 및(c3) 상기 공간 변형 네트워크에 포함된 샘플러를 통해 상기 맵핑에 따라 상기 다음 예측 영상을 생성하는 단계,를 포함하는 딥 신경망 학습 방법
|
| 6 |
6
제1항에 있어서,상기 복수의 컨볼루션 신경망 각각에는 동일한 가중치가 부여되고,상기 복수의 컨볼루션 장단기기억 각각에는 동일한 가중치가 부여되는 것인, 딥 신경망 학습 방법
|
| 7 |
7
제1항에 있어서,(d) 상기 (c) 단계에서 생성된 다음 예측 영상 및 상기 모바일 에이전트의 다음 입력 영상을 상호 대비한 결과를 이용하여 상기 딥 신경망 학습시 이용되는 가중치를 업데이트하는 단계를 더 포함하는 딥 신경망 학습 방법
|
| 8 |
8
제7항에 있어서,상기 업데이트된 가중치에 의해, 상기 (c) 단계에서 상기 다음 예측 영상이 상기 다음 입력 영상에 보다 가깝게 생성되도록 어파인(Affine) 행렬이 보정되는 것인, 딥 신경망 학습 방법
|
| 9 |
9
딥 신경망 학습 기반의 다음 예측 영상 생성 방법에 있어서,(a) 모바일 에이전트에 입력된 현재 입력 영상을 입력 값으로 하는 컨볼루션 신경망(CNN)에 대한 CNN 출력 값을 산출하는 단계;(b) 상기 CNN 출력 값을 컨볼루션 장단기기억(Convolution LSTM)에 대한 입력 값으로 하여, 상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 단계; 및(c) 상기 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력으로 하는 공간 변형 네트워크(Spatial Transformer Networks, STN)를 통해, 상기 모바일 에이전트에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 단계,를 포함하는 다음 예측 영상 생성 방법
|
| 10 |
10
제9항에 있어서,상기 현재 입력 영상에 대한 LSTM 출력 값은, 상기 현재 입력 영상 및 하나 이상의 이전 시퀀스 입력 영상을 포함하는 복수의 입력 영상에 대응하는 상기 모바일 에이전트의 움직임에 대한 정보를 포함하는 시각적 특징 벡터인 것인, 다음 예측 영상 생성 방법
|
| 11 |
11
제9항에 있어서,상기 컨볼루션 신경망의 출력 값은, 특징 맵의 크기를 줄이고, 상기 현재 입력 영상의 정보를 포함하는 시각적 특징 벡터인 것인, 다음 예측 영상 생성 방법
|
| 12 |
12
제9항에 있어서,상기 (c) 단계는,(c1) 상기 (b) 단계에서 산출된 상기 현재 입력 영상에 대한 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력 값으로 하여, 상기 공간 변형 네트워크에 포함된 로컬라이저를 통해 상기 현재 입력 영상과 상기 모바일 에이전트의 다음 입력 영상 간의 영상 움직임 차이를 나타내는 어파인(Affine) 행렬을 생성하는 단계;(c2) 상기 어파인 행렬 및 상기 현재 입력 영상을 그리드 제너레이터(grid generator)의 입력 값으로 하여 상기 현재 입력 영상과 상기 다음 입력 영상 간의 픽셀 위치를 맵핑하는 단계; 및(c3) 상기 공간 변형 네트워크에 포함된 샘플러를 통해 상기 맵핑에 따라 상기 다음 예측 영상을 생성하는 단계,를 포함하는 다음 예측 영상 생성 방법
|
| 13 |
13
제9항에 있어서,상기 (a) 단계에서, 상기 CNN 출력 값은 딥 신경망 학습에 의하여 상기 현재 입력 영상에 대응하는 컨볼루션 신경망에 대해 업데이트된 CNN 가중치를 사용하여 산출되고,상기 (b) 단계에서, 상기 LSTM 출력 값은 딥 신경망 학습에 의하여 상기 현재 입력 영상에 대응하는 컨볼루션 장단기기억에 대해 업데이트된 LSTM 가중치를 사용하여 산출되는 것인, 다음 예측 영상 생성 방법
|
| 14 |
14
제13항에 있어서,상기 현재 입력 영상에 대응하는 CNN 가중치는, 하나 이상의 이전 시퀀스 입력 영상에 대응하는 컨볼루션 신경망 각각의 가중치와 동일하게 부여된 가중치이고,상기 현재 입력 영상에 대응하는 LSTM 가중치는, 하나 이상의 이전 시퀀스 입력 영상에 대응하는 컨볼루션 장단기기억 각각의 가중치와 동일하게 부여된 가중치인 것인, 다음 예측 영상 생성 방법
|
| 15 |
15
딥 신경망 학습 장치에 있어서,모바일 에이전트에 입력된 현재 입력 영상 및 하나 이상의 이전 시퀀스 입력 영상을 포함하는 복수의 입력 영상 각각을 입력 값으로 하는 복수의 컨볼루션 신경망(CNN) 각각에 대하여 CNN 출력 값을 산출하는 CNN 출력 값 산출부;상기 현재 입력 영상 직전의 이전 시퀀스 입력 영상에 대한 CNN 출력 값을 입력 값으로 하는 컨볼루션 장단기기억(Convolution LSTM)에 대한 LSTM 출력 값과 상기 현재 입력 영상에 대한 CNN 출력 값을 입력 값으로 하여, 상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 LSTM 출력 값 산출부; 및상기 현재 입력 영상에 대한 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력으로 하는 공간 변형 네트워크(Spatial Transformer Networks, STN)를 통해, 상기 모바일 에이전트에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 다음 예측 영상 생성부,를 포함하는 딥 신경망 학습 장치
|
| 16 |
16
딥 신경망 학습 기반의 다음 예측 영상 생성 장치에 있어서,모바일 에이전트에 입력된 현재 입력 영상을 입력 값으로 하는 컨볼루션 신경망(CNN)에 대한 CNN 출력 값을 산출하는 CNN 출력 값 산출부;상기 CNN 출력 값을 컨볼루션 장단기기억(Convolution LSTM)에 대한 입력 값으로 하여, 상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 LSTM 출력 값 산출부; 및상기 LSTM 출력 값과 상기 모바일 에이전트의 제어 신호를 입력으로 하는 공간 변형 네트워크(Spatial Transformer Networks, STN)를 통해, 상기 모바일 에이전트에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 다음 예측 영상 생성부,를 포함하는 다음 예측 영상 생성 장치
|
| 17 |
17
제1항 내지 제14항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
