| 1 |
1
모바일 로봇으로부터 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 온라인 3차원 모델링부; 및상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 경로 계획부를 포함하는 3차원 모델링을 위한 모바일 로봇 제어 장치
|
| 2 |
2
제1항에 있어서, 상기 온라인 3차원 모델링부는 상기 영상 시퀀스를 수신하여 레퍼런스 영상의 포즈를 판단하는 포즈 판단부; 및상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상과 이웃하는 복수의 소스 영상들, 상기 소스 영상들의 포즈들을 이용하여 상기 레퍼런스 영상의 뎁스를 추정하는 뎁스 추정부를 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 3 |
3
제2항에 있어서, 상기 온라인 3차원 모델링부는상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부를 더 포함하고,상기 제1 맵은 상기 볼류메트릭 맵인 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 4 |
4
제3항에 있어서, 상기 온라인 3차원 모델링부는상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함하고,상기 제2 맵은 상기 서펠 맵인 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 5 |
5
제4항에 있어서, 상기 경로 계획부는 상기 볼류메트릭 맵에 기초하여 스캔 영역와 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부를 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 6 |
6
제5항에 있어서, 상기 경로 계획부는 상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 7 |
7
제6항에 있어서, 상기 경로 계획부는 상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 8 |
8
제7항에 있어서, 상기 경로 계획부는 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 9 |
9
제8항에 있어서, 상기 경로 계획부는 상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 10 |
10
제9항에 있어서, 상기 로컬 조사 경로는 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점, 상기 현재 카메라 시점과 상기 제1 레퍼런스 카메라 시점 사이의 제1 경로 및 상기 제1 레퍼런스 카메라 시점과 상기 제2 레퍼런스 카메라 시점 사이의 제2 경로를 포함할 때, 상기 최종 경로의 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점 각각은 상기 로컬 조사 경로의 상기 현재 카메라 시점, 상기 제1 레퍼런스 카메라 시점 및 상기 제2 레퍼런스 카메라 시점 각각과 동일하고, 상기 최종 경로의 제1 경로 및 제2 경로는 상기 로컬 조사 경로의 상기 제1 경로 및 상기 제2 경로와 상이한 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 11 |
11
제9항에 있어서, 상기 경로 최적화부는 상기 로컬 조사 경로 상의 제1 카메라 시점과 상기 타겟 표면의 표면 점을 잇는 제1 선분 및 상기 로컬 조사 경로 상의 제2 카메라 시점과 상기 타겟 표면의 상기 표면 점을 잇는 제2 선분 사이의 각도를 나타내는 패럴랙스를 고려하여 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 12 |
12
제11항에 있어서, 상기 패럴랙스가 α이고, 패럴랙스 기준값이 α0이며, 패럴랙스 상수가 이고, 제1 스코어 함수가 일 때, 를 만족하고,상기 로컬 조사 경로는 상기 제1 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 13 |
13
제11항에 있어서, 상기 경로 최적화부는 상기 제1 카메라 시점과 상기 표면 점 사이의 거리 및 상기 제2 카메라 시점과 상기 표면 점 사이의 거리를 기초로 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 14 |
14
제13항에 있어서, 상기 제1 뷰포인트와 상기 표면 점 사이의 거리가 distsrc이고, 상기 제2 뷰포인트와 상기 표면 점 사이의 거리가 distref이며, 제2 스코어 함수가 일 때, 를 만족하고, 상기 로컬 조사 경로는 상기 제2 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 15 |
15
제13항에 있어서, 상기 경로 최적화부는 상기 제1 카메라 시점의 소스 영상의 카메라 센터로부터 주점(principal point)까지의 광선 및 상기 제1 카메라 시점의 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이 이루는 각도를 기초로 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 16 |
16
제15항에 있어서, 상기 소스 영상의 상기 카메라 센터로부터 상기 주점(principal point)까지의 광선이 이고, 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이 이며, 상기 와 가 이루는 각도가 β이고, 포커스 상수가 이며, 제3 스코어 함수가 일 때, 를 만족하고, 상기 로컬 조사 경로는 상기 제3 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 17 |
17
제15항에 있어서, 상기 경로 최적화부는 미리 결정된 시간 예산 내에서 상기 로컬 조사 경로의 카메라 시점들에서 얻어지는 정보량을 최대화하도록 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 18 |
18
제5항에 있어서, 상기 덴스 서펠 맵핑부는 상기 포즈 판단부의 루프 클로징 신호를 기초로 상기 서펠 맵의 표면 모델을 변형하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 19 |
19
제18항에 있어서, 상기 볼류메트릭 맵핑부는 상기 포즈 판단부의 상기 루프 클로징 신호를 기초로 상기 볼류메트릭 맵의 상태를 업데이트 하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 20 |
20
제5항에 있어서, 상기 볼류메트릭 맵은 주어진 환경을 'unknown', 'free', 'occupied'의 세가지 상태로 분류하며,상기 'unknown' 상태는 해당 지점에 상기 장애물이 존재하는지 알 수 없는 상태를 나타내고, 상기 'free' 상태는 해당 지점에 상기 장애물이 존재하지 않는 상태를 나타내고, 상기 'occupied' 상태는 해당 지점에 상기 장애물이 존재하는 상태를 나타내는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 21 |
21
제2항에 있어서, 상기 레퍼런스 영상의 상기 포즈는 상기 레퍼런스 영상을 촬영한 카메라의 좌표 및 상기 카메라의 방향을 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 22 |
22
제2항에 있어서, 상기 포즈 판단부는 상기 영상 시퀀스의 특정 프레임을 키프레임으로 판단하며, 상기 온라인 3차원 모델링부는 상기 키프레임에 대응하는 영상 및 상기 영상의 포즈를 저장하는 포즈 데이터베이스를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치
|
| 23 |
23
영상을 촬영하여 영상 시퀀스를 생성하는 모바일 로봇;상기 모바일 로봇으로부터 상기 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 온라인 3차원 모델링부; 및상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 경로 계획부를 포함하고, 상기 경로 계획부는 계획된 경로를 상기 모바일 로봇에 출력하고, 상기 모바일 로봇은 상기 계획된 경로를 따라 이동하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 24 |
24
제23항에 있어서, 상기 영상 시퀀스에 따라 상기 제1 맵 및 상기 제2 맵이 실시간으로 가변하고, 상기 가변하는 상기 제1 맵 및 상기 제2 맵에 따라 상기 글로벌 경로 및 상기 로컬 조사 경로가 실시간으로 가변하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 25 |
25
제23항에 있어서, 상기 모바일 로봇은 상기 영상을 촬영하여 상기 영상 시퀀스를 생성하는 영상 수집부; 및상기 계획된 경로를 수신하여 상기 모바일 로봇을 상기 계획된 경로를 따라 이동시키는 로봇 컨트롤러를 포함하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 26 |
26
제23항에 있어서, 상기 온라인 3차원 모델링부는 상기 영상 시퀀스를 수신하여 레퍼런스 영상의 포즈를 판단하는 포즈 판단부; 및상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상과 이웃하는 복수의 소스 영상들, 상기 소스 영상들의 포즈들을 이용하여 상기 레퍼런스 영상의 뎁스를 추정하는 뎁스 추정부를 포함하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 27 |
27
제26항에 있어서, 상기 온라인 3차원 모델링부는상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부; 및상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 28 |
28
제27항에 있어서, 상기 경로 계획부는 상기 볼류메트릭 맵에 기초하여 스캔 영역와 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부; 및 상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 포함하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 29 |
29
제28항에 있어서, 상기 경로 계획부는 상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부; 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부; 및 상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함하는 것을 특징으로 하는 3차원 모델링 시스템
|
| 30 |
30
영상을 촬영하여 영상 시퀀스를 생성하는 단계;상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 단계; 상기 제1 맵을 기초로 글로벌 경로를 생성하는 단계;상기 제2 맵을 기초로 타겟 표면을 추출하는 단계; 및상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 단계를 포함하는 3차원 모델링 방법
|
| 31 |
31
제30항에 있어서, 상기 영상 시퀀스에 따라 상기 제1 맵 및 상기 제2 맵이 실시간으로 가변하고, 상기 가변하는 상기 제1 맵 및 상기 제2 맵에 따라 상기 글로벌 경로 및 상기 로컬 조사 경로가 실시간으로 가변하는 것을 특징으로 하는 3차원 모델링 방법
|
