| 1 |
1
이동 로봇의 엘리베이터 인식 방법에 있어서,상기 이동 로봇이 엘리베이터 근처의 인식 지점으로 이동하는 이동 단계와;상기 인식 지점에서 엘리베이터가 위치하는 것으로 추정된 추정 위치에 대한 엘리베이터 추정 이미지가 획득되는 추정 이미지 획득 단계와;복수의 엘리베이터 이미지와 복수의 비 엘리베이터 이미지를 딥러닝 기반으로 학습한 학습 모델이 상기 엘리베이터 추정 이미지 내에 엘리베이터가 존재하는지 여부를 판단하는 엘리베이터 인식 단계와;상기 엘리베이터 인식 단계에서 엘리베이터가 존재하는 것으로 판단되는 경우, 상기 추정 위치에 대한 RGB-D 센서의 점군 데이터가 획득되는 점군 데이터 획득 단계와;상기 점군 데이터에 기초하여, 상기 추정 위치 내에서의 엘리베이터의 위치를 추정하는 엘리베이터 위치 추정 단계를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 2 |
2
제1항에 있어서,상기 엘리베이터 추정 이미지 내에서 기 설정된 추출 알고리즘을 통해 엘리베이터 추정 영역을 추출하는 전처리 단계를 더 포함하고;상기 엘리베이터 인식 단계에서는 상기 엘리베이터 추정 영역이 상기 학습 모델에 적용되어 엘리베이터의 존재 여부가 판단되며;상기 전처리 단계에서는 수학식( 및 는 각각 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위해 잘려나갈 좌측 좌표 및 우측 좌표이고, 는 상기 엘리베이터 추정 이미지의 가로 길이이고, 는 기 등록된 엘리베이터의 최대 가로 길이이고, 는 기 등록된 엘리베이터의 최소 가로 길이이고, 는 실제 엘리베이터의 가로 길이이고, 는 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위하 잘려나갈 세로 좌표이고, 는 상기 엘리베이터 추정 이미지의 세로 길이이고, 는 상기 엘리베이터 추정 이미지의 획득시의 수평 방향에 대한 촬영 각도이다)를 이용하여 상기 엘리베이터 추정 영역이 추출되는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 3 |
3
제1항에 있어서,상기 추정 이미지 획득 단계에서는 상기 RGB-D 센서에 의해 센싱된 센싱 데이터를 이용하여 상기 엘리베이터 추정 이미지가 획득되며;상기 추정 이미지 획득 단계에서 센싱된 상기 센싱 데이터가 상기 점군 데이터 획득 단계에서 상기 점군 데이터로 적용되는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 4 |
4
제1항에 있어서,상기 점군 데이터를 구성하는 각각의 점은 상기 이동 로봇을 기준으로 상기 이동 로봇의 주시 방향인 x축 좌표값과, 상기 이동 로봇의 높이 방향인 z축 좌표값과, 가로 방향인 y축 좌표값을 포함하며;상기 엘리베이터 위치 추정 단계는상기 점군 데이터 중 바닥 영역과 천장 영역을 제거하는 노이즈 영역 제거 단계와,상기 노이즈 영역 제거 단계에서 남은 점에 대해, z축 방향으로 동일한 열의 점들의 x축 좌표값들의 평균인 x축 평균값과, y축 좌표값들의 평균인 y축 평균값을 산출하여, 2차원 점군 데이터를 생성하는 2차원 점군 생성 단계와,상기 2차원 점군 데이터를 허프 변환 알고리즘(Hough transform algorithm)에 적용하여 상기 2차원 점군 데이터에서 직선을 추출하는 직선 추출 단계와,상기 직선 추출 단계에서 2개의 직선이 추출되는 경우, 상기 이동 로봇과 두 개가 직선까지의 거리에 기초하여, 벽면 직선과 엘리베이터 직선을 판별하는 직선 판별 단계와,상기 2차원 점군 데이터를 구성하는 각 점과 상기 벽면 직선 및 상기 엘리베이터 직선까지의 거리를 산출하여, 각 점이 벽면인지 엘리베이터인지 검출하는 벽면 검출 단계와,상기 벽면 판별 단계의 판별 결과에 기초하여 엘리베이터의 양측 경계를 추출하는 제1 경계 추출 단계를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 5 |
5
제4항에 있어서,상기 벽면 판별 단계에서 2개의 벽면과 2개의 벽면 사이의 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 점 중 엘리베이터와의 경계의 두 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 6 |
6
제4항에 있어서,상기 벽면 판별 단계에서 하나의 벽면과 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 점 중 엘리베이터와의 경계의 점과, 엘리베이터로 인식된 점 중 벽면의 반대측 끝 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 7 |
7
제4항에 있어서,상기 직선 추출 단계에서 하나의 직선 만이 추출되는 경우, 상기 이동 로봇으로부터 검출된 직선까지의 거리를 기준으로 먼 곳에 위치한 점들의 개수와 가까운 곳에 위치한 점들의 개수를 검출하는 점 개수 검출 단계와;상기 점 개수 검출 단계에서 먼 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 벽면 직선으로 분류하고, 가까운 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 엘리베이터 직선으로 분류하는 직선 분류 단계와;상기 직선 분류 단계에서 벽면 직선으로 분류되는 경우 벽면 직선으로 분류된 점들의 인접한 점들 간의 거리가 기 설정된 거리 이상인 두 점을 엘리베이터의 경계로 추출하고, 엘리베이터 직선으로 분류되는 경우 엘리베이터로 분류된 점들의 양측 끝 두 점을 엘리베이터의 경계로 추출하는 제2 경계 추출 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 8 |
8
이동 로봇의 엘리베이터 인식 방법에 있어서,상기 이동 로봇이 엘리베이터 근처의 인식 지점으로 이동하는 이동 단계와;상기 인식 지점에서 엘리베이터가 위치하는 것으로 추정되는 추정 위치를 RGB-D 센서로 센싱하여 점군 데이터를 획득하는 점군 데이터 획득 단계와 - 상기 점군 데이터를 구성하는 각각의 점은 상기 이동 로봇을 기준으로 상기 이동 로봇의 주시 방향인 x축 좌표값과, 상기 이동 로봇의 높이 방향인 z축 좌표값과, 가로 방향인 y축 좌표값을 포함함;상기 점군 데이터 중 바닥 영역과 천장 영역을 제거하는 노이즈 영역 제거 단계와;상기 노이즈 영역 제거 단계에서 남은 점에 대해, z축 방향으로 동일한 열의 점들의 x축 좌표값들의 평균인 x축 평균값과, y축 좌표값들의 평균인 y축 평균값을 산출하여, 2차원 점군 데이터를 생성하는 2차원 점군 생성 단계와;상기 2차원 점군 데이터를 허프 변환 알고리즘(Hough transform algorithm)에 적용하여 상기 2차원 점군 데이터에서 직선을 추출하는 직선 추출 단계와;상기 직선 추출 단계에서 하나의 직선 만이 추출되는 경우, 상기 추정 위치에 대한 엘리베이터 추정 이미지가 획득되는 추정 이미지 획득 단계와;복수의 엘리베이터 이미지와 복수의 비 엘리베이터 이미지를 딥러닝 기반으로 학습한 학습 모델이 상기 엘리베이터 추정 이미지 내에 엘리베이터가 존재하는지 여부를 판단하는 엘리베이터 인식 단계와;상기 엘리베이터 인식 단계에서 엘리베이터가 존재하는 것으로 판단되는 경우, 상기 이동 로봇으로부터 상기 직선 추출 단계에서 추출된 직선까지의 거리를 기준으로 먼 곳에 위치한 점들의 개수와 가까운 곳에 위치한 점들의 개수를 검출하는 점 개수 검출 단계와;상기 점 개수 검출 단계에서 먼 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 벽면 직선으로 분류하고, 가까운 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 엘리베이터 직선으로 분류하는 직선 분류 단계와;상기 직선 분류 단계에서 벽면 직선으로 분류되는 경우 벽면 직선으로 분류된 점들의 인접한 점들 간의 거리가 기 설정된 거리 이상인 두 점을 엘리베이터의 경계로 추출하고, 엘리베이터 직선으로 분류되는 경우 엘리베이터로 분류된 점들의 양측 끝 두 점을 엘리베이터의 경계로 추출하는 제1 경계 추출 단계를 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 9 |
9
제8항에 있어서,상기 엘리베이터 추정 이미지 내에서 기 설정된 추출 알고리즘을 통해 엘리베이터 추정 영역을 추출하는 전처리 단계를 더 포함하고;상기 엘리베이터 인식 단계에서는 상기 엘리베이터 추정 영역이 상기 학습 모델에 적용되어 엘리베이터의 존재 여부가 판단되며;상기 전처리 단계에서는 수학식( 및 는 각각 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위해 잘려나갈 좌측 좌표 및 우측 좌표이고, 는 상기 엘리베이터 추정 이미지의 가로 길이이고, 는 기 등록된 엘리베이터의 최대 가로 길이이고, 는 기 등록된 엘리베이터의 최소 가로 길이이고, 는 실제 엘리베이터의 가로 길이이고, 는 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위하 잘려나갈 세로 좌표이고, 는 상기 엘리베이터 추정 이미지의 세로 길이이고, 는 상기 엘리베이터 추정 이미지의 획득시의 수평 방향에 대한 촬영 각도이다)를 이용하여 상기 엘리베이터 추정 영역이 추출되는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 10 |
10
제8항에 있어서,상기 추정 이미지 획득 단계에서는 상기 점군 데이터 획득 단계에서 획득된 상기 점군 데이터를 이용하여 상기 엘리베이터 추정 이미지가 획득되는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 11 |
11
제8항에 있어서,상기 직선 추출 단계에서 2개의 직선이 추출되는 경우, 상기 이동 로봇과 두 개가 직선까지의 거리에 기초하여, 벽면 직선과 엘리베이터 직선을 판별하는 직선 판별 단계와,상기 2차원 점군 데이터를 구성하는 각 점과 상기 벽면 직선 및 상기 엘리베이터 직선까지의 거리를 산출하여, 각 점이 벽면인지 엘리베이터인지 검출하는 벽면 검출 단계와,상기 벽면 판별 단계의 판별 결과에 기초하여 엘리베이터의 양측 경계를 추출하는 제2 경계 추출 단계를 더 포함하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 12 |
12
제11항에 있어서,상기 벽면 판별 단계에서 2개의 벽면과 2개의 벽면 사이의 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 점 중 엘리베이터와의 경계의 두 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 13 |
13
제11항에 있어서,상기 벽면 판별 단계에서 하나의 벽면과 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 벽면으로 인식된 점 중 엘리베이터와의 경계의 점과, 엘리베이터로 인식된 점 중 벽면의 반대측 끝 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇의 엘리베이터 인식 방법
|
| 14 |
14
주행을 수행하는 로봇 구동부와,RGB-D 센서와,복수의 엘리베이터 이미지와 복수의 비 엘리베이터 이미지를 딥러닝 기반으로 학습한 학습 모델을 갖는 엘리베이터 인식부와,엘리베이터의 양측 경계를 추출하는 엘리베이터 위치 추정부와,상기 RGB-D 센서의 센싱 경과에 기초하여 상기 엘리베이터 위치 추정부가 엘리베이터의 양측 경계를 추출하도록 제어하는 로봇 제어부를 포함하며;상기 로봇 제어부는엘리베이터 근처의 인식 지점으로 이동하도록 상기 로봇 구동부를 제어하고, 상기 학습 모델이 상기 인식 지점에서 엘리베이터가 위치하는 것으로 추정되는 추정 위치에 대해 획득된 엘리베이터 추정 이미지 내에 엘리베이터가 존재하는지 여부를 판단하도록 상기 엘리베이터 인식부를 제어하고, 상기 엘리베이터 인식부에 의해 엘리베이터가 존재하는 것으로 판단된 경우 상기 엘리베이터 위치 추정부가 상기 추정 위치에 대한 RGB-D 센서의 점군 데이터에 기초하여 상기 추정 위치 내에서의 엘리베이터의 위치를 추정하도록 제어하는 것을 특징으로 하는 이동 로봇
|
| 15 |
15
제14항에 있어서,상기 엘리베이터 인식부는 엘리베이터 추정 이미지 내에서 기 설정된 추출 알고리즘을 통해 엘리베이터 추정 영역을 추출하는 전처리부를 더 포함하고;상기 엘리베이터 인식부는 상기 엘리베이터 추정 영역이 상기 학습 모델에 적용되어 엘리베이터 존재 여부를 판단하도록 제어하며;상기 전처리부는 수학식( 및 는 각각 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위해 잘려나갈 좌측 좌표 및 우측 좌표이고, 는 상기 엘리베이터 추정 이미지의 가로 길이이고, 는 기 등록된 엘리베이터의 최대 가로 길이이고, 는 기 등록된 엘리베이터의 최소 가로 길이이고, 는 실제 엘리베이터의 가로 길이이고, 는 상기 엘리베이터 추정 이미지에서 상기 엘리베이터 추정 영역을 추출하기 위하 잘려나갈 세로 좌표이고, 는 상기 엘리베이터 추정 이미지의 세로 길이이고, 는 상기 엘리베이터 추정 이미지의 획득시의 수평 방향에 대한 촬영 각도이다)를 이용하여 상기 엘리베이터 추정 영역을 추출하는 것을 특징으로 하는 이동 로봇
|
| 16 |
16
제14항에 있어서,상기 엘리베이터 인식부는 상기 RGB-D 센서에 의해 센싱된 데이터를 이용하여 상기 엘리베이터 추정 이미지를 획득하는 것을 특징으로 하는 이동 로봇
|
| 17 |
17
제14항에 있어서,상기 점군 데이터를 구성하는 각각의 점은 상기 RGB-D 센서를 기준으로 상기 RGB-D 센서의 주시 방향인 x축 좌표값과, 상기 RGB-D 센서의 높이 방향인 z축 좌표값과, 가로 방향인 y축 좌표값을 포함하며;상기 엘리베이터 위치 추정부는상기 점군 데이터 중 바닥 영역과 천장 영역을 제거하는 노이즈 영역 제거 단계와,상기 노이즈 영역 제거 단계에서 남은 점에 대해, z축 방향으로 동일한 열의 점들의 x축 좌표값들의 평균인 x축 평균값과, y축 좌표값들의 평균인 y축 평균값을 산출하여, 2차원 점군 데이터를 생성하는 2차원 점군 생성 단계와,상기 2차원 점군 데이터를 허프 변환 알고리즘(Hough transform algorithm)에 적용하여 상기 2차원 점군 데이터에서 직선을 추출하는 직선 추출 단계와,상기 직선 추출 단계에서 2개의 직선이 추출되는 경우, 상기 이동 로봇과 두 개가 직선까지의 거리에 기초하여, 벽면 직선과 엘리베이터 직선을 판별하는 직선 판별 단계와,상기 2차원 점군 데이터를 구성하는 각 점과 상기 벽면 직선 및 상기 엘리베이터 직선까지의 거리를 산출하여, 각 점이 벽면인지 엘리베이터인지 검출하는 벽면 검출 단계와,상기 벽면 판별 단계의 판별 결과에 기초하여 엘리베이터의 양측 경계를 추출하는 제1 경계 추출 단계를 수행하여, 엘리베이터의 위치를 추정하는 것을 특징으로 하는 이동 로봇
|
| 18 |
18
제17항에 있어서,상기 엘리베이터 위치 추정부는 상기 벽면 판별 단계에서 2개의 벽면과 2개의 벽면 사이의 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 점 중 엘리베이터와의 경계의 두 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇
|
| 19 |
19
제17항에 있어서,상기 엘리베이터 위치 추정부는 상기 벽면 판별 단계에서 하나의 벽면과 엘리베이터가 검출되는 경우, 상기 제1 경계 추출 단계에서는 벽면으로 인식된 벽면으로 인식된 점 중 엘리베이터와의 경계의 점과, 엘리베이터로 인식된 점 중 벽면의 반대측 끝 점을 엘리베이터의 양측 경계로 추출하는 것을 특징으로 하는 이동 로봇
|
| 20 |
20
제17항에 있어서,상기 엘리베이터 위치 추정부는상기 직선 추출 단계에서 하나의 직선 만이 추출되는 경우, 상기 이동 로봇으로부터 검출된 직선까지의 거리를 기준으로 먼 곳에 위치한 점들의 개수와 가까운 곳에 위치한 점들의 개수를 검출하는 점 개수 검출 단계와;상기 점 개수 검출 단계에서 먼 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 벽면 직선으로 분류하고, 가까운 곳에 위치한 점들의 개수가 기 설정된 개수보다 많은 경우 직선을 엘리베이터 직선으로 분류하는 직선 분류 단계와;상기 직선 분류 단계에서 벽면 직선으로 분류되는 경우 벽면 직선으로 분류된 점들의 인접한 점들 간의 거리가 기 설정된 거리 이상인 두 점을 엘리베이터의 경계로 추출하고, 엘리베이터 직선으로 분류되는 경우 엘리베이터로 분류된 점들의 양측 끝 두 점을 엘리베이터의 경계로 추출하는 제2 경계 추출 단계를 더 수행하여 엘리베이터의 위치를 추정하는 것을 특징으로 하는 이동 로봇
|
