| 1 |
1
사용자를 촬영한 영상을 통해 사용자의 의도를 예측하는 방법에 있어서,사용자를 촬영한 영상을 수신하는 단계; 및상기 영상에 포함된 상기 사용자와 목표물체에 대한 공간정보 및 시간정보를 이용하여, 상기 사용자의 다음 동작에 대한 의도를 예측하는 단계를 포함하는, 방법
|
| 2 |
2
제1항에 있어서,상기 공간정보는,상기 사용자의 신체 일부의 포즈(pose) 및 상기 사용자의 신체 일부와 상기 목표물체 간 상호작용(interaction)을 포함하는 것을 특징으로 하는 방법
|
| 3 |
3
제2항에 있어서,상기 공간정보는,상기 목표물체의 크기, 형태, 텍스처(texture), 강성 및 색상 중 적어도 하나 이상을 더 포함하는 것을 특징으로 하는 방법
|
| 4 |
4
제2항에 있어서,상기 상호작용은,상기 신체 일부와 상기 목표물체 간 거리, 상기 목표물체를 기준으로 한 상기 신체 일부의 위치 및 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 방법
|
| 5 |
5
제1항에 있어서,상기 시간정보는,시간의 흐름에 따른 상기 사용자의 신체 일부의 포즈 및 상기 상호작용의 변화를 포함하는 것을 특징으로 하는 방법
|
| 6 |
6
제5항에 있어서,상기 시간정보는,상기 신체 일부가 움직이는 궤적(trajectory) 및 상기 신체 일부가 상기 목표물체를 향해 움직이는 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 방법
|
| 7 |
7
제1항에 있어서,상기 예측하는 단계는,상기 영상을 딥러닝 네트워크의 입력으로서 인가하는 단계;상기 딥러닝 네트워크에 포함된 콘볼루션 신경망(Convolution Neural Network, CNN)을 통해, 상기 영상을 구성하는 복수의 프레임 각각에 대한 공간정보의 특징을 추출하는 단계;상기 딥러닝 네트워크에 포함된 순환 신경망(Recurrent Neural Network, RNN)을 통해, 상기 추출된 공간정보의 특징으로부터 연속된 프레임에 포함된 시간정보의 특징을 추출하는 단계; 및상기 추출된 공간정보의 특징 및 시간정보의 특징에 기초하여, 상기 다음 동작에 대한 의도를 결과값으로서 출력하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 8 |
8
제7항에 있어서,상기 예측된 의도에 따라서, 상기 사용자의 움직임을 보조하는 장치에 구동신호를 인가하는 단계를 더 포함하는 것을 특징으로 하는 방법
|
| 9 |
9
제8항에 있어서,상기 구동신호를 인가하는 단계는,미리 설정된 일정 시간 동안 상기 딥러닝 네트워크에서 출력되는 복수의 결과값 중에서 미리 설정된 일정 비율 이상을 차지하는 결과값을 선택하는 단계; 및상기 선택된 결과값에 대응되는 구동신호를 인가하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 10 |
10
제8항에 있어서,상기 사용자가 취할 수 있는 동작은 적어도 둘 이상의 종류로 구분되며,상기 구동신호를 인가하는 단계는,상기 사용자가 현재 취한 동작의 종류를 확인하는 단계;미리 설정된 일정 시간 동안 상기 딥러닝 네트워크에서 결과값으로 출력된 의도 중에서 상기 확인된 동작의 종류와 다른 동작에 대한 의도만을 선택하는 단계; 및상기 선택된 의도에 대응되는 구동신호를 인가하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 11 |
11
제1항에 있어서,상기 사용자를 촬영한 영상은,상기 사용자의 1인칭 시점에서 상기 사용자의 신체 중 적어도 일부가 나오도록 촬영한 영상인 것을 특징으로 하는 방법
|
| 12 |
12
제1항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체
|
| 13 |
13
의도 예측 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램
|
| 14 |
14
의도 예측 장치에 있어서,외부로부터 사용자를 촬영한 영상을 수신하고, 상기 영상을 분석함으로써 예측한 상기 사용자의 다음 동작에 대한 의도를 출력하기 위한 입출력부;상기 영상을 분석함으로써 상기 사용자의 다음 동작에 대한 의도를 예측하기 위한 프로그램이 저장되는 저장부; 및적어도 하나의 프로세서를 포함하는 제어부를 포함하며,상기 제어부는,상기 프로그램을 실행함으로써, 상기 영상에 포함된 상기 사용자와 목표물체에 대한 공간정보 및 시간정보를 이용하여, 상기 사용자의 다음 동작에 대한 의도를 예측하는, 장치
|
| 15 |
15
제14항에 있어서,상기 공간정보는,상기 사용자의 신체 일부의 포즈(pose) 및 상기 사용자의 신체 일부와 상기 목표물체 간 상호작용(interaction)을 포함하는 것을 특징으로 하는 장치
|
| 16 |
16
제15항에 있어서,상기 공간정보는,상기 목표물체의 크기, 형태, 텍스처(texture), 강성 및 색상 중 적어도 하나 이상을 더 포함하는 것을 특징으로 하는 장치
|
| 17 |
17
제15항에 있어서,상기 상호작용은,상기 신체 일부와 상기 목표물체 간 거리, 상기 목표물체를 기준으로 한 상기 신체 일부의 위치 및 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 장치
|
| 18 |
18
제14항에 있어서,상기 시간정보는,시간의 흐름에 따른 상기 사용자의 신체 일부의 포즈 및 상기 상호작용의 변화를 포함하는 것을 특징으로 하는 장치
|
| 19 |
19
제18항에 있어서,상기 시간정보는,상기 신체 일부가 움직이는 궤적(trajectory) 및 상기 신체 일부가 상기 목표물체를 향해 움직이는 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 장치
|
| 20 |
20
제14항에 있어서,상기 제어부가 상기 프로그램을 실행시킴으로써 구현되며, 상기 영상을 입력으로서 인가받는 딥러닝 네트워크는,상기 영상을 구성하는 복수의 프레임 각각에 대한 공간정보의 특징을 추출하는 공간정보 추출부;상기 추출된 공간정보의 특징으로부터 연속된 프레임에 포함된 시간정보의 특징을 추출하는 시간정보 추출부; 및상기 공간정보 추출부 및 시간정보 추출부의 출력에 기초하여, 상기 다음 동작에 대한 의도를 결과값으로서 출력하는 의도 출력부를 포함하는 것을 특징으로 하는 장치
|
| 21 |
21
제20항에 있어서,상기 제어부는,상기 예측된 의도에 따라서, 상기 입출력부를 통해 상기 사용자의 움직임을 보조하는 장치에 구동신호를 인가하는 것을 특징으로 하는 장치
|
| 22 |
22
제21항에 있어서,상기 제어부는,상기 구동신호를 인가함에 있어서, 미리 설정된 일정 시간 동안 상기 딥러닝 네트워크에서 출력되는 복수의 결과값 중에서 미리 설정된 비율 이상을 차지하는 결과값을 선택하고, 상기 선택된 결과값에 대응되는 구동신호를 인가하는 것을 특징으로 하는 장치
|
| 23 |
23
제21항에 있어서,상기 사용자가 취할 수 있는 동작은 적어도 둘 이상의 종류로 구분되며,상기 제어부는,상기 구동신호를 인가함에 있어서, 상기 사용자가 현재 취한 동작의 종류를 확인하고, 미리 설정된 일정 시간 동안 상기 딥러닝 네트워크에서 결과값으로 출력된 의도 중에서 상기 확인된 동작의 종류와 다른 동작에 대한 의도만을 선택하고, 상기 선택된 의도에 대응되는 구동신호를 인가하는 것을 특징으로 하는 장치
|
| 24 |
24
제14항에 있어서,상기 사용자를 촬영한 영상은,상기 사용자의 1인칭 시점에서 상기 사용자의 신체 중 적어도 일부가 나오도록 촬영한 영상인 것을 특징으로 하는 장치
|
