| 1 |
1
로봇이 주변상황에 대한 시계열 영상을 획득하는 단계;상기 시계열 영상을 분석하여 동적 오브젝트의 동작 데이터를 획득하는 단계;시계열에 따라 획득한 상기 동작 데이터들의 집합을 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하는 단계;상기 동적 오브젝트가 생체인 경우, 주변상황에 대한 상기 시계열 영상의 원본 중 상기 동적 오브젝트에 해당하는 부분영상을 추출하는 단계; 및상기 추출된 부분영상을 사용자 원격장치로 전송하는 단계;를 포함하고,상기 시계열 영상을 분석하여 동적 오브젝트의 동작 데이터를 획득하는 단계는,상기 시계열 영상의 이웃하는 프레임 간의 분석을 통해 동적 오브젝트를 추정하고, 상기 추정된 동적 오브젝트의 동작패턴, 동작종류, 보이는 방향 및 각도 정보를 추적하는, 로봇을 이용한 구조구난 서비스 제공방법
|
| 2 |
2
삭제
|
| 3 |
3
제 1 항에 있어서,상기 시계열에 따라 획득한 상기 동작 데이터들의 집합을 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하는 단계는,상기 동작 데이터에 매칭하는 3D 마스크를 데이터베이스로부터 추출하는 단계;상기 추출된 3D 마스크를 상기 시계열 영상의 상기 동적 오브젝트를 커버하도록 오버랩시키는 단계; 상기 3D 마스크에 의해 오버랩된 상기 동적 오브젝트의 적어도 하나의 관절과 절지를 포함하는 3D 포인트 클라우드(point cloud)를 생성하는 단계; 및상기 3D 포인트 클라우드를 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하는 단계;를 포함하는, 로봇을 이용하는 구조구난 서비스 제공방법
|
| 4 |
4
제 3 항에 있어서,상기 3D 포인트 클라우드를 학습기반으로 분석하는 단계는,상기 3D 마스크에 의해 오버랩된 상기 동적 오브젝트에 대응하는 3D 포인트 클라우드의 공분산 행렬을 구하는 단계;상기 3D 마스크에 대응하는 프레임의 변화에 따라 상기 3D 포인트 클라우드의 공분산 행렬의 변화를 분석하는 단계; 및상기 분석에 따라 상기 3D 포인트 클라우드의 이동 정보를 파악하는 단계;를 포함하는, 로봇을 이용하는 구조구난 서비스 제공방법
|
| 5 |
5
제 3 항에 있어서,상기 3D 포인트 클라우드를 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하는 단계는,상기 3D 포인트 클라우드 중 복수 개의 절지 및 상기 절지를 이어주는 적어도 하나의 관절의 위치, 길이, 각도 수치 및 연동관계 중 적어도 하나를 파악하는 단계; 및상기 3D 포인트 클라우드의 복수개의 절지 및 적어도 하나의 관절의 위치, 길이, 각도 수치 및 연동관계 중 적어도 하나를 다수의 동적 오브젝트마다 개체별/종별로 미리 학습되어 정의된 동작 데이터들과 비교하여, 비교결과 유사한 동작 데이터에 해당하는 개체를 상기 동적 오브젝트로 파악하는 단계를 포함하는, 로봇을 이용한 구조구난 서비스 제공방법
|
| 6 |
6
제 5 항에 있어서,상기 로봇이 다수의 개체별/종별 동적 오브젝트의 3D 포인트 클라우드에 대해 미리 학습하여 데이터베이스에 저장하는 단계를 더 포함하고,상기 3D 포인트 클라우드에 대해 미리 학습하는 단계는,상기 로봇이 상기 동적 오브젝트의 개체별/종별로 동작패턴, 동작종류, 보이는 방향 및 각도 중 적어도 하나에 대응하여 동작중인 절지와 관절 간의 움직임의 연동관계, 각도변화를 매칭하여 상기 동적 오브젝트의 개체별/종별 인식을 학습하는, 로봇을 이용한 구조구난 서비스 제공방법
|
| 7 |
7
제 1 항에 있어서,상기 추출된 부분영상을 사용자 원격장치로 전송하는 단계 이후, 상기 사용자 원격장치로부터 구조명령을 수신하는 단계; 및상기 구조명령에 따라 상기 로봇에 탑재된 스피커, 디스플레이, 암(arm), 바퀴, 경광등 중 적어도 하나를 통해 구조 행위를 실행시키는 단계;를 더 포함하는, 로봇을 이용한 구조구난 서비스 제공방법
|
| 8 |
8
제 7 항에 있어서,상기 구조 행위를 실행시키는 단계는,상기 사용자 원격장치로부터 수신된 사용자의 음성 가이드를 상기 동적 생체 오브젝트가 인지하도록 스피커로 출력하거나, 상기 사용자의 문자 가이드를 상기 디스플레이로 출력하거나, 사용자에 의한 동작 명령에 따라 상기 암 및 바퀴 중 적어도 하나를 구동시키는, 로봇을 이용한 구조구난 서비스 제공방법
|
| 9 |
9
센서 디바이스를 통해 획득한 주변상황에 대한 시계열 영상을 분석하여 동적 오브젝트의 동작 데이터를 획득하고, 시계열에 따라 획득한 상기 동작 데이터들의 집합을 학습기반으로 분석한 결과, 상기 동적 오브젝트가 생체인 경우, 주변상황에 대한 상기 시계열 영상의 원본 중 상기 동적 오브젝트에 해당하는 부분영상을 추출하는 로봇; 및상기 로봇으로부터 상기 동적 오브젝트에 해당하는 부분영상을 수신하여 디스플레이하고, 사용자로부터 입력받은 구조명령에 따라 상기 로봇을 조종하는 사용자 원격장치;를 포함하고,상기 로봇은, 상기 시계열 영상을 분석하여 동적 오브젝트의 동작 데이터를 획득하고, 시계열에 따라 획득한 상기 동작 데이터들의 집합을 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하되, 상기 시계열 영상의 이웃하는 프레임 간의 분석을 통해 동적 오브젝트를 추정하고, 상기 추정된 동적 오브젝트의 동작패턴, 동작종류, 보이는 방향 및 각도 정보를 추적하는 분석모듈;을 포함하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 10 |
10
제 9 항에 있어서,상기 로봇은, 상기 동적 오브젝트가 생체인 경우, 주변상황에 대한 상기 시계열 영상의 원본 중 상기 동적 오브젝트에 해당하는 부분영상을 추출하는 영상편집모듈;상기 동적 오브젝트의 복수개의 절지 및 적어도 하나의 관절의 위치, 길이, 각도 수치 및 연동관계 중 적어도 하나를 다수의 동적 오브젝트마다 개체별/종별로 미리 학습하여 정의하는 학습엔진; 및상기 분석모듈에 의해 상기 동적 오브젝트가 생체로 판단된 경우, 상기 영상편집모듈에 의해 추출된 상기 동적 오브젝트에 해당하는 부분영상을 상기 사용자 원격장치로 전송하는 통신모듈;을 더 포함하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 11 |
11
삭제
|
| 12 |
12
제 10 항에 있어서,상기 분석모듈은,상기 동작 데이터에 매칭하는 3D 마스크를 데이터베이스로부터 추출하고, 상기 추출된 3D 마스크를 상기 시계열 영상의 상기 동적 오브젝트를 커버하도록 오버랩시키며, 상기 3D 마스크에 의해 오버랩된 상기 동적 오브젝트의 적어도 하나의 관절과 절지를 포함하는 3D 포인트 클라우드(point cloud)를 생성하고, 상기 3D 포인트 클라우드를 학습기반으로 분석하여 상기 동적 오브젝트의 생체/미생체 여부를 판단하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 13 |
13
제 12 항에 있어서,상기 분석모듈은,상기 3D 포인트 클라우드를 학습기반으로 분석하기 위해 상기 3D 마스크에 의해 오버랩된 상기 동적 오브젝트에 대응하는 3D 포인트 클라우드의 공분산 행렬을 구하고, 상기 3D 마스크에 대응하는 프레임의 변화에 따라 상기 3D 포인트 클라우드의 공분산 행렬의 변화를 분석하며, 상기 분석에 따라 상기 3D 포인트 클라우드의 이동 정보를 파악하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 14 |
14
제 12 항에 있어서,상기 분석모듈은,상기 3D 포인트 클라우드 중 복수 개의 절지 및 상기 절지를 이어주는 적어도 하나의 관절의 위치, 길이, 각도 수치 및 연동관계 중 적어도 하나를 파악하고, 상기 3D 포인트 클라우드의 복수개의 절지 및 적어도 하나의 관절의 위치, 길이, 각도 수치 및 연동관계 중 적어도 하나를 다수의 동적 오브젝트마다 개체별/종별로 미리 학습되어 정의된 동작 데이터들과 비교하여, 비교결과 유사한 동작 데이터에 해당하는 개체를 상기 동적 오브젝트로 파악하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 15 |
15
제 12 항에 있어서,상기 3D 마스크는,상기 동적 오브젝트의 움직임의 정도가 임계치를 기준으로 분별된 움직임의 정도에 따라 분리된 다수의 박스 및 상기 다수의 박스를 상기 움직임의 정도에 따라 서로 다른 색상으로 표현하는 세그멘테이션 블록으로 구성된, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 16 |
16
제 15 항에 있어서,상기 3D 마스크는,동적 오브젝트가 투시되도록 커버하기 위해 세그멘테이션 블록의 내부는 반투명 또는 투명하며 구비되고, 세그멘테이션 블록의 가장자리는 비투명 또는 반투명의 실선 또는 점선으로 구비되는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 17 |
17
제 12 항에 있어서,상기 3D 마스크는, 각종 재난발생, 구조구난 필요 상황의 시뮬레이션을 통해 각 개체/종별로 보이는 방향 및 각도에 따라 동적 오브젝트의 동작들을 반영하여 미리 생성되고, 데이터베이스에 저장된 마스크인, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 18 |
18
제 9 항에 있어서,상기 로봇은,상기 사용자 원격장치로부터 수신된 구조명령에 따라 상기 로봇에 탑재된 스피커, 디스플레이, 암(arm), 바퀴 중 적어도 하나를 통해 구조 행위를 실행시키는 제어 모듈;을 더 포함하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
| 19 |
19
제 9 항에 있어서, 상기 로봇은 상기 사용자 원격장치로 상기 부분영상 전송 시, GPS를 통해 획득한 상기 동적 오브젝트의 현재 위치 좌표 정보를 함께 전송하는, 로봇을 이용한 구조구난 서비스 제공 시스템
|
