| 1 |
1
게이트 방식이 적용된 순환 신경망(Recurrent Neural Network)에 적용되는 디트렌딩 장치에 의한 디트렌딩방법에 있어서, 입력값을 이용하여 히든 상태(hidden state) 및 후보 히든상태(candidate hidden state)를 산출하는 단계;산출된 히든 상태와 후보 히든상태를 이용하여 디트렌딩(detrending)을 수행하는 단계; 및디트렌딩된 결과를 출력값으로 출력하는 단계;를 포함하고, 디트렌딩을 수행하는 단계는, 후보 히든상태와 히든상태를 벡터 연산함으로써 디트렌딩을 수행하고,게이티드 순환 신경망은, 리셋 게이트(reset gate) 및 업데이트 게이트(update gate)를 포함하며,산출단계는, 업데이트 게이트를 가중치로하여 이전의 히든 상태와 후보 히든 상태 사이를 선형보간(linear interpolation)함으로써 히든 상태를 산출하고,산출단계는, 업데이트 게이트 zt 및 히든상태 ht를 아래의 수식을 이용하여 산출하며,후보 히든 상태는,이전 히든 상태가 미치는 영향의 정도가 리셋 게이트에 의해 결정되고,산출단계는,리셋 게이트 rt 및 후보 히든상태 를 아래의 수식을 이용하여 산출하며, 디트렌딩을 수행하는 단계는, 아래의 수식을 이용하여 디트렌딩을 수행하고,상술된 수식에서, 는 시그모이드(sigmoid) 함수이고, 는 요소별 곱셈(element-wise multiplication)을 나타내며, *는 컨벌루션 연산을 나타내고, x는 입력 레이어(input layer) x, h는 히든 레이어(hidden layer) 및 y는 출력 레이어(output layer)를 나타내고, W, U 및 b는 학습가능한 파라미터로써, 각각 순방향 연결 가중치(forward connection weight), 순환 연결 가중치(recurrent connection weight) 및 바이어스(biases)를 나타내는 것을 특징으로 하는 게이티드 순환 신경망 디트렌딩방법
|
| 2 |
2
삭제
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
삭제
|
| 9 |
9
청구항 1에 있어서, 업데이트 게이트는, 바이어스(bias) 초기값이 음의 값으로 설정되는 것을 특징으로 하는 게이티드 순환 신경망 디트렌딩방법
|
| 10 |
10
청구항 1에 있어서,게이트 방식이 적용된 순환 신경망은,게이티드 순환유닛(gated recurrent unit, GRU), 컨볼루션 게이티드 순환유닛 (convolutional gated recurrent unit, ConvGRU), 롱숏텀 메모리(long short term memory, LSTM), 컨볼루션 롱숏텀 메모리(convolutional long short term memory, ConvLSTM) 및 게이티드 방식이 적용된 순환 신경망 중 어느 하나인 것을 특징으로 하는 게이티드 순환 신경망 디트렌딩방법
|
| 11 |
11
게이트 방식이 적용된 순환 신경망(Recurrent Neural Network)에 적용되는 디트렌딩방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체에 있어서, 입력값을 이용하여 히든 상태(hidden state) 및 후보 히든상태(candidate hidden state)를 산출하는 단계;산출된 히든 상태와 후보 히든상태를 이용하여 디트렌딩(detrending)을 수행하는 단계; 및디트렌딩된 결과를 출력값으로 출력하는 단계;를 포함하고, 디트렌딩을 수행하는 단계는, 후보 히든상태와 히든상태를 벡터 연산함으로써 디트렌딩을 수행하고,게이티드 순환 신경망은, 리셋 게이트(reset gate) 및 업데이트 게이트(update gate)를 포함하며,산출단계는, 업데이트 게이트를 가중치로하여 이전의 히든 상태와 후보 히든 상태 사이를 선형보간(linear interpolation)함으로써 히든 상태를 산출하고,산출단계는, 업데이트 게이트 zt 및 히든상태 ht를 아래의 수식을 이용하여 산출하며,후보 히든 상태는,이전 히든 상태가 미치는 영향의 정도가 리셋 게이트에 의해 결정되고,산출단계는,리셋 게이트 rt 및 후보 히든상태 를 아래의 수식을 이용하여 산출하며, 디트렌딩을 수행하는 단계는, 아래의 수식을 이용하여 디트렌딩을 수행하고,상술된 수식에서, 는 시그모이드(sigmoid) 함수이고, 는 요소별 곱셈(element-wise multiplication)을 나타내며, *는 컨벌루션 연산을 나타내고, x는 입력 레이어(input layer) x, h는 히든 레이어(hidden layer) 및 y는 출력 레이어(output layer)를 나타내고, W, U 및 b는 학습가능한 파라미터로써, 각각 순방향 연결 가중치(forward connection weight), 순환 연결 가중치(recurrent connection weight) 및 바이어스(biases)를 나타내는 것을 특징으로 하는 게이티드 순환 신경망 디트렌딩방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체
|
| 12 |
12
게이트 방식이 적용된 순환 신경망(Recurrent Neural Network)에 적용되는 디트렌딩장치에 있어서, 입력값을 이용하여 히든 상태(hidden state) 및 후보 히든상태(candidate hidden state)를 산출하고, 산출된 히든 상태와 후보 히든상태를 이용하여 디트렌딩(detrending)을 수행하는 게이트 방식이 적용되는 순환유닛(Recurrent Unit); 및디트렌딩된 결과를 출력값으로 출력하는 출력부;를 포함하고, 순환유닛은, 후보 히든상태와 히든상태를 벡터 연산함으로써 디트렌딩을 수행하고,게이티드 순환 신경망은, 리셋 게이트(reset gate) 및 업데이트 게이트(update gate)를 포함하며,순환유닛은, 업데이트 게이트를 가중치로하여 이전의 히든 상태와 후보 히든 상태 사이를 선형보간(linear interpolation)함으로써 히든 상태를 산출하고,업데이트 게이트 zt 및 히든상태 ht를 아래의 수식을 이용하여 산출하며,후보 히든 상태는,이전 히든 상태가 미치는 영향의 정도가 리셋 게이트에 의해 결정되고,순환유닛은,리셋 게이트 rt 및 후보 히든상태 를 아래의 수식을 이용하여 산출하며, 아래의 수식을 이용하여 디트렌딩을 수행하고,상술된 수식에서, 는 시그모이드(sigmoid) 함수이고, 는 요소별 곱셈(element-wise multiplication)을 나타내며, *는 컨벌루션 연산을 나타내고, x는 입력 레이어(input layer) x, h는 히든 레이어(hidden layer) 및 y는 출력 레이어(output layer)를 나타내고, W, U 및 b는 학습가능한 파라미터로써, 각각 순방향 연결 가중치(forward connection weight), 순환 연결 가중치(recurrent connection weight) 및 바이어스(biases)를 나타내는 것을 특징으로 하는 게이티드 순환 신경망 디트렌딩장치
|
