| 1 |
1
공중 로봇의 이동 속도 추정 방법에 있어서,(a) 제1 카메라의 제1 현재 입력 영상, 제2 카메라의 제2 현재 입력 영상 및 관성측정장치를 통해 측정된 상기 공중 로봇의 현재 관성 측정 값을 입력 값으로 하여, 상기 제1 현재 입력 영상과 상기 제1 카메라에 입력되는 다음 입력 영상 간의 영상 움직임 차이를 나타내는 제1 어파인 변환 행렬 및 상기 제2 현재 입력 영상과 상기 제2 카메라에 입력되는 다음 입력 영상 간의 영상 움직임 차이를 나타내는 제2 어파인 변환 행렬을 출력하는 단계;(b) 상기 현재 관성 측정 값을 이용하여 상기 제1 어파인 변환 행렬 및 상기 제2 어파인 변환 행렬 각각으로부터 상기 공중 로봇의 3D 회전의 영향이 제거된 보정된 제1 어파인 변환 행렬 및 보정된 제2 어파인 변환 행렬을 출력하는 단계; 및(c) 상기 보정된 제1 어파인 변환 행렬, 상기 보정된 제2 어파인 변환 행렬 및 거리측정센서를 통해 측정된 상기 공중 로봇과 바닥 간의 현재 거리 측정 값을 이용하여 상기 공중 로봇의 3D 속도를 추정하는 단계,를 포함하는 공중 로봇의 이동 속도 추정 방법
|
| 2 |
2
제1항에 있어서,상기 (a) 단계는,상기 제1 현재 입력 영상을 입력 값으로 하는 제1 컨볼루션 신경망(CNN)의 제1 CNN 출력 값과 상기 현재 관성 측정 값을 제1 컨볼루션 장단기기억(Convolution LSTM)에 대한 입력 값으로 하여, 상기 제1 현재 입력 영상에 대한 제1 LSTM 출력 값을 산출하고, 상기 제1 LSTM 출력 값을 입력 값으로 하는 제1 로컬라이저의 출력 값으로서 상기 제1 어파인 변환 행렬을 출력하며,상기 제2 현재 입력 영상을 입력 값으로 하는 제2 컨볼루션 신경망(CNN)의 제2 CNN 출력 값과 상기 현재 관성 측정 값을 제2 컨볼루션 장단기기억(Convolution LSTM)에 대한 입력 값으로 하여, 상기 제2 현재 입력 영상에 대한 제2 LSTM 출력 값을 산출하고, 상기 제2 LSTM 출력 값을 입력 값으로 하는 제2 로컬라이저의 출력 값으로서 상기 제2 어파인 변환 행렬을 출력하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 3 |
3
제2항에 있어서,상기 제1 CNN 출력 값 및 상기 제1 LSTM 출력 값 각각은, 상기 제1 현재 입력 영상과 상기 제1 카메라에 대한 적어도 하나의 제1 이전 입력 영상을 포함하는 제1 시퀀스 입력 영상 및 상기 제1 시퀀스 입력 영상 각각에 대응하는 관성 측정 값을 이용한 신경망 학습에 기초하여 산출되되,상기 제1 CNN 출력 값은 상기 제1 컨볼루션 신경망에 대해 업데이트된 제1 CNN 가중치를 사용하여 산출되고,상기 제1 LSTM 출력 값은 상기 제1 컨볼루션 장단기기억에 대해 업데이트된 제1 LSTM 가중치를 사용하여 산출되며,상기 제2 CNN 출력 값 및 상기 제2 LSTM 출력 값 각각은, 상기 제2 현재 입력 영상과 상기 제2 카메라에 대한 적어도 하나의 제2 이전 입력 영상을 포함하는 제2 시퀀스 입력 영상 및 상기 제2 시퀀스 입력 영상 각각에 대응하는 관성 측정 값을 이용한 신경망 학습에 기초하여 산출되되,상기 제2 CNN 출력 값은 상기 제2 컨볼루션 신경망에 대해 업데이트된 제2 CNN 가중치를 사용하여 산출되고,상기 제2 LSTM 출력 값은 제2 컨볼루션 장단기기억에 대해 업데이트된 제2 LSTM 가중치를 사용하여 산출되는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 4 |
4
제3항에 있어서,상기 제1 현재 입력 영상에 대응하는 상기 제1 CNN 가중치는, 상기 적어도 하나의 제1 이전 입력 영상에 대응하는 컨볼루션 신경망 각각의 가중치와 동일하게 부여된 가중치이고,상기 제1 현재 입력 영상에 대응하는 상기 제1 LSTM 가중치는, 상기 적어도 하나의 제1 이전 입력 영상에 대응하는 컨볼루션 장단기기억 각각의 가중치와 동일하게 부여된 가중치이고,상기 제2 현재 입력 영상에 대응하는 상기 제2 CNN 가중치는, 상기 적어도 하나의 제2 이전 입력 영상에 대응하는 컨볼루션 신경망 각각의 가중치와 동일하게 부여된 가중치이고,상기 제2 현재 입력 영상에 대응하는 상기 제2 LSTM 가중치는, 상기 적어도 하나의 제2 이전 입력 영상에 대응하는 컨볼루션 신경망 각각의 가중치와 동일하게 부여된 가중치인 것인, 공중 로봇의 이동 속도 추정 방법
|
| 5 |
5
제1항에 있어서,상기 (c) 단계는,상기 제2 카메라의 초점 거리와 상기 현재 거리 측정 값의 비 및 상기 제2 카메라의 제2 시퀀스 입력 영상을 통해 측정된 영상 이동량과 상기 공중 로봇의 실제 이동량의 비가 동일하다는 제1 조건 및 상기 제1 카메라의 제1 시퀀스 입력 영상을 통해 측정된 y축 방향의 영상 이동량과 상기 제2 카메라의 제2 시퀀스 입력 영상을 통해 측정된 y축 방향의 영상 이동량이 동일하다는 제2 조건을 이용하여, 상기 공중 로봇의 3D속도를 추정하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 6 |
6
제5항에 있어서,상기 (c) 단계는,상기 공중 로봇의 3D 속도로서, 상기 공중 로봇의 x축 방향의 이동량을 하기 수학식 1에 기초하여 추정하고, 상기 공중 로봇의 y축 방향의 이동량을 하기 수학식 2에 기초하여 추정하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 7 |
7
제5항에 있어서,상기 (c) 단계는,상기 공중 로봇의 3D 속도로서, 상기 공중 로봇의 z축 방향의 이동량을 하기 수학식 3에 기초하여 추정하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 8 |
8
제1항에 있어서,상기 제1 카메라는 상기 공중 로봇의 전방을 촬영하는 전방 촬영 카메라이고, 상기 제2 카메라는 상기 공중 로봇의 하방을 촬영하는 하방 촬영 카메라인 것인, 공중 로봇의 이동 속도 추정 방법
|
| 9 |
9
제8항에 있어서,상기 제1 카메라에 의해 y축 및 z축에 대응하는 제1 시퀀스 입력 영상이 획득되고, 상기 제2 카메라에 의해 x축 및 y축에 대응하는 제2 시퀀스 입력 영상이 획득되며,상기 제1 시퀀스 입력 영상의 y축과 상기 제2 시퀀스 입력 영상의 y축은 동일한 것인, 공중 로봇의 이동 속도 추정 방법
|
| 10 |
10
제1항에 있어서,상기 현재 관성 측정 값 및 상기 현재 거리 측정 값 각각은 노이즈의 영향을 줄이기 위해 평활 필터(smooth filter)가 적용된 값인 것인, 공중 로봇의 이동 속도 추정 방법
|
| 11 |
11
제1항에 있어서,상기 (a) 단계 이전에,상기 제1 카메라 및 상기 제2 카메라 각각에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 신경망 학습을 수행하는 단계를 더 포함하고,상기 제1 어파인 변환 행렬은, 상기 신경망 학습에 의하여 업데이트된 가중치에 의해, 상기 신경망 학습을 통해 예측되는 상기 제1 카메라의 다음 예측 영상이 상기 제1 카메라에 입력되는 다음 입력 영상에 보다 가깝게 생성되도록 보정된 것이고,상기 제2 어파인 변환 행렬은, 상기 신경망 학습에 의하여 업데이트된 가중치에 의해, 상기 신경망 학습을 통해 예측되는 상기 제2 카메라의 다음 예측 영상이 상기 제2 카메라에 입력되는 다음 입력 영상에 보다 가깝게 생성되도록 보정된 것인, 공중 로봇의 이동 속도 추정 방법
|
| 12 |
12
제11항에 있어서,상기 신경망 학습을 수행하는 단계는, 상기 제1 카메라 및 상기 제2 카메라 각각에 대하여, 현재 입력 영상과 적어도 하나의 이전 입력 영상을 포함하는 시퀀스 입력 영상 및 상기 시퀀스 입력 영상 각각에 대응하는 관성 측정 값에 기초하여 신경망 학습을 수행하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 13 |
13
제12항에 있어서,상기 신경망 학습을 수행하는 단계는,상기 제1 카메라 및 상기 제2 카메라 각각에 대하여, 상기 시퀀스 입력 영상 각각 및 상기 시퀀스 입력 영상 각각에 대응하는 관성 측정 값을 입력 값으로 하는 복수의 컨볼루션 신경망(CNN) 각각에 대하여 CNN 출력 값을 산출하는 단계;상기 현재 입력 영상 직전의 이전 입력 영상에 대응하는 컨볼루션 장단기기억(Convolution LSTM)의 LSTM 출력 값, 상기 현재 입력 영상에 대응하는 컨볼루션 신경망의 CNN 출력 값 및 상기 현재 입력 영상에 대응하는 관성 측정 값을 입력 값으로 하여, 상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 단계; 및상기 현재 입력 영상에 대한 LSTM 출력 값을 입력으로 하는 공간 변형 네트워크(Spatial Transformer Networks, STN)를 통해, 상기 제1 카메라 및 상기 제2 카메라 각각에 입력되는 다음 입력 영상으로 예측되는 다음 예측 영상을 생성하는 단계,를 포함하는 공중 로봇의 이동 속도 추정 방법
|
| 14 |
14
제13항에 있어서,상기 현재 입력 영상보다 n만큼 이전의 이전 입력 영상을 imgt-n이라 할 때,상기 현재 입력 영상에 대한 LSTM 출력 값을 산출하는 단계에서, 상기 imgt-n의 LSTM 출력 값은 imgt-n-1에 대응하는 컨볼루션 장단기기억(Convolution LSTM)의 LSTM 출력 값, 상기 imgt-n에 대응하는 컨볼루션 신경망의 CNN 출력 값 및 상기 imgt-n 에 대응하는 관성 측정 값을 입력 값으로 하여 산출되는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 15 |
15
제13항에 있어서,상기 다음 예측 영상을 생성하는 단계는,상기 현재 입력 영상에 대한 LSTM 출력 값을 입력 값으로 하여, 상기 공간 변형 네트워크에 포함된 로컬라이저를 통해 상기 현재 입력 영상과 상기 다음 입력 영상 간의 영상 움직임 차이를 나타내는 어파인(Affine) 변환 행렬을 생성하는 단계;상기 어파인 행렬 및 상기 현재 입력 영상을 그리드 제너레이터(grid generator)의 입력 값으로 하여 상기 현재 입력 영상과 상기 다음 입력 영상 간의 픽셀 위치를 맵핑하는 단계; 및상기 공간 변형 네트워크에 포함된 샘플러를 통해 상기 맵핑에 따라 상기 다음 예측 영상을 생성하는 단계를 포함하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 16 |
16
제13항에 있어서,상기 복수의 컨볼루션 신경망 각각에는 동일한 가중치가 부여되고,상기 복수의 컨볼루션 장단기기억 각각에는 동일한 가중치가 부여되는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 17 |
17
제13항에 있어서,상기 신경망 학습을 수행하는 단계는, 상기 제1 카메라 및 상기 제2 카메라 각각에 대한 신경망 학습을 수행할 때 이용되는 가중치를 업데이트하는 단계를 포함하고,상기 업데이트하는 단계는, 상기 다음 예측 영상을 생성하는 단계에서 생성된 상기 제1 카메라의 제1 다음 예측 영상과 상기 제1 카메라에 입력되는 제1 다음 입력 영상을 상호 대비한 결과를 이용하여 상기 제1 카메라에 대한 신경망 학습을 수행할 때 이용되는 가중치를 업데이트하고, 상기 다음 예측 영상을 생성하는 단계에서 생성된 상기 제2 카메라의 제2 다음 예측 영상과 상기 제2 카메라에 입력되는 제2 다음 입력 영상을 상호 대비한 결과를 이용하여 상기 제2 카메라에 대한 신경망 학습을 수행할 때 이용되는 가중치를 업데이트하는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 18 |
18
제17항에 있어서,상기 업데이트된 가중치에 의해, 상기 다음 예측 영상을 생성하는 단계에서 생성되는 상기 제1 다음 예측 영상이 상기 제1 다음 입력 영상에 보다 가깝게 생성되도록 어파인 변환 행렬이 보정되고, 상기 제2 다음 예측 영상이 상기 제2 다음 입력 영상에 보다 가깝게 생성되도록 어파인 변환 행렬이 보정되는 것인, 공중 로봇의 이동 속도 추정 방법
|
| 19 |
19
공중 로봇의 이동 속도 추정 장치에 있어서,제1 카메라의 제1 현재 입력 영상, 제2 카메라의 제2 현재 입력 영상 및 관성측정장치를 통해 측정된 상기 공중 로봇의 현재 관성 측정 값을 입력 값으로 하여, 상기 제1 현재 입력 영상과 상기 제1 카메라의 다음 입력 영상 간의 영상 움직임 차이를 나타내는 제1 어파인 변환 행렬 및 상기 제2 현재 입력 영상과 상기 제2 카메라의 다음 입력 영상 간의 영상 움직임 차이를 나타내는 제2 어파인 변환 행렬을 출력하는 영상 예측부;상기 현재 관성 측정 값을 이용하여 상기 제1 어파인 변환 행렬 및 상기 제2 어파인 변환 행렬 각각에서 상기 공중 로봇의 3D 회전의 영향이 제거된 보정된 제1 어파인 변환 행렬 및 보정된 제2 어파인 변환 행렬을 출력하는 조정부; 및상기 보정된 제1 어파인 변환 행렬, 상기 보정된 제2 어파인 변환 행렬 및 거리측정센서를 통해 측정된 상기 공중 로봇과 바닥 간의 현재 거리 측정 값을 이용하여 상기 공중 로봇의 3D 속도를 추정하는 추정부,를 포함하는 공중 로봇의 이동 속도 추정 장치
|
| 20 |
20
제1항 내지 제18항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체
|
