| 1 |
1
확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습하기 위한 장치에 있어서, 어느 하나의 계층의 연산 결과에 가중치가 적용되어 다음 계층의 입력이 되는 복수의 연산을 포함하는 복수의 계층을 포함하는 인공신경망; 포인트 클라우드 영상을 2차원의 평면의 분포를 나타내는 제1 채널 및 거리를 나타내는 제2 채널을 포함하는 2채널의 충돌격자지도로 변환하는 데이터처리부; 및 상기 충돌격자지도를 통해 상기 인공신경망이 충돌 여부에 대한 확률을 출력하도록 상기 인공신경망을 학습시키는 학습부;를 포함하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 장치
|
| 2 |
2
제1항에 있어서, 상기 데이터처리부는 포인트 클라우드의 영상에서 포인트 클라우드를 포인트 클라우드의 x 및 y값에 매핑되는 제1 채널의 셀에 사상하고, 제2 채널의 셀에 x 및 y값이 매핑되는 적어도 하나의 포인트 클라우드를 검출하고, 검출된 모든 포인트 클라우드의 z 값의 평균을 해당하는 제2 채널의 셀에 사상하여 상기 충돌격자지도를 생성하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 장치
|
| 3 |
3
제1항에 있어서, 상기 학습부는 충돌 여부에 대응하는 기댓값을 설정하고, 상기 충돌격자지도를 상기 인공신경망에 입력한 후, 상기 인공신경망이 상기 충돌격자지도에 대해 가중치가 적용되는 복수의 연산을 수행하여 출력값을 산출하면, 산출된 출력값과 설정된 기댓값의 차이가 최소가 되도록 상기 인공신경망의 가중치를 최적화하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 장치
|
| 4 |
4
제1항에 있어서, 상기 인공신경망은 상기 충돌격자지도를 입력받는 입력계층; 상기 입력계층의 충돌격자지도에 대해 가중치 행렬로 구성된 제1 필터를 통해 컨볼루션 연산을 수행하여 제1 특징지도를 구성하는 컨볼루션계층; 상기 컨볼루션계층의 제1 특징지도에 대해 가중치 행렬로 구성된 제2 필터를 통해 풀링 연산을 수행하여 제2 특징지도를 구성하는 풀링계층; 상기 풀링계층의 제2 특징지도를 변환하여 하나의 열로 정렬하는 평탄화계층; 복수의 연산 노드를 포함하며, 복수의 연산 노드 각각이 하나의 열로 정렬된 제2 특징지도에 대해 활성화함수를 통한 연산 결과에 가중치를 적용하여 출력하는 완전연결계층; 및 충돌 확률 및 비충돌 확률 각각에 대응하는 2개의 출력 노드를 포함하며, 상기 완전연결계층의 상기 복수의 연산 노드의 입력에 대해 활성화함수를 통한 연산을 수행하여 충돌 확률 및 비충돌 확률을 산출하고, 산출된 충돌 확률 및 비충돌 확률을 출력값으로 출력하는 출력계층;을 포함하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 장치
|
| 5 |
5
확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 인지하기 위한 장치에 있어서, 어느 하나의 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력이 되는 복수의 연산을 포함하는 복수의 계층을 포함하며, 충돌격자지도가 입력되면, 충돌격자지도에 대해 복수의 계층의 가중치가 적용되는 복수의 연산을 수행하여 충돌 여부를 확률로 출력하도록 학습된 인공신경망; 촬영을 통해 3차원 영상을 생성하는 카메라부; 상기 3차원 영상을 변환하여 포인트 클라우드 영상을 생성하고, 생성된 포인트 클라우드 영상을 2차원의 평면의 분포를 나타내는 제1 채널과 거리를 나타내는 제2 채널을 포함하는 2채널의 충돌격자지도로 변환하는 데이터처리부; 및 상기 변환된 충돌격자지도를 상기 인공신경망에 입력하여 상기 인공신경망이 충돌 여부를 확률을 출력하면, 상기 확률에 따라 충돌 여부를 인지하는 인지부;를 포함하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 장치
|
| 6 |
6
제5항에 있어서, 상기 데이터처리부는 포인트 클라우드의 영상에서 포인트 클라우드를 포인트 클라우드의 x 및 y값에 매핑되는 제1 채널의 셀에 사상하고, 제2 채널의 셀에 x 및 y의 값에 대한 모든 포인트 클라우드의 z 값의 평균을 해당하는 제2 채널의 셀에 사상하여 상기 충돌격자지도를 생성하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 장치
|
| 7 |
7
제5항에 있어서, 상기 인공신경망은 출력값으로 충돌 확률 및 비충돌 확률을 출력하며, 상기 인지부는 상기 충돌 확률이 상기 비충돌 확률 보다 크면서 상기 충돌 확률이 기 설정된 임계치 이상인 경우에 충돌하는 것으로 인지하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 장치
|
| 8 |
8
제5항에 있어서, 상기 인공신경망은 상기 충돌격자지도를 입력받는 입력계층; 상기 입력계층의 충돌격자지도에 대해 가중치 행렬로 구성된 제1 필터를 통해 컨볼루션 연산을 수행하여 제1 특징지도를 구성하는 컨볼루션계층; 상기 컨볼루션계층의 제1 특징지도에 대해 가중치 행렬로 구성된 제2 필터를 통해 풀링 연산을 수행하여 제2 특징지도를 구성하는 풀링계층; 상기 풀링계층의 제2 특징지도를 변환하여 하나의 열로 정렬하는 평탄화계층; 복수의 연산 노드를 포함하며, 복수의 연산 노드 각각이 하나의 열로 정렬된 제2 특징지도에 대해 활성화함수를 통한 연산 결과에 가중치를 적용하여 출력하는 완전연결계층; 및 충돌 확률 및 비충돌 확률 각각에 대응하는 2개의 출력 노드를 포함하며, 상기 완전연결계층의 상기 복수의 연산 노드의 입력에 대해 활성화함수를 통한 연산을 수행하여 충돌 확률 및 비충돌 확률을 산출하고, 산출된 충돌 확률 및 비충돌 확률을 출력값으로 출력하는 출력계층;을 포함하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 장치
|
| 9 |
9
확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습하기 위한 방법에 있어서, 데이터처리부가 충돌 여부가 알려진 3차원 영상을 획득하는 단계; 상기 데이터처리부가 상기 3차원 영상을 변환하여 클라우드 포인트 영상을 생성하는 단계; 상기 데이터처리부가 상기 클라우드 포인트 영상을 변환하여 2차원의 평면의 분포를 나타내는 제1 채널 및 거리를 나타내는 제2 채널을 포함하는 2채널의 충돌격자지도를 생성하는 단계; 학습부가 상기 충돌격자지도의 기초가 되는 상기 3차원 영상의 충돌 여부에 따라 기댓값을 설정하는 단계; 상기 학습부가 상기 충돌격자지도를 입력함에 따라 상기 인공신경망이 상기 충돌격자지도에 대해 상기 복수의 연산을 통해 출력값을 산출하는 단계; 및 상기 학습부가 상기 출력값과 상기 기댓값의 차이가 최소가 되도록 상기 인공신경망의 가중치를 최적화하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 방법
|
| 10 |
10
제9항에 있어서, 상기 충돌격자지도를 생성하는 단계는 상기 데이터처리부가 포인트 클라우드의 영상에서 포인트 클라우드를 포인트 클라우드의 x 및 y값에 매핑되는 제1 채널의 셀에 사상하는 단계; 및 상기 데이터처리부가 제2 채널의 셀에 x 및 y의 값에 대한 모든 포인트 클라우드의 z 값의 평균을 해당하는 제2 채널의 셀에 사상하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 방법
|
| 11 |
11
제9항에 있어서, 상기 인공신경망이 상기 충돌격자지도에 대해 상기 복수의 연산을 통해 출력값을 산출하는 단계는 입력계층이 상기 충돌격자지도를 입력받는 단계; 컨볼루션계층이 상기 입력계층의 충돌격자지도에 대해 가중치 행렬로 구성된 제1 필터를 통해 컨볼루션 연산을 수행하여 제1 특징지도를 구성하는 단계; 풀링계층이 상기 컨볼루션계층의 제1 특징지도에 대해 가중치 행렬로 구성된 제2 필터를 통해 풀링 연산을 수행하여 제2 특징지도를 구성하는 단계; 평탄화계층이 상기 풀링계층의 제2 특징지도를 변환하여 하나의 열로 정렬하는 단계; 완전연결계층이 복수의 연산 노드를 통해 하나의 열로 정렬된 제2 특징지도에 대해 활성화함수를 통한 연산 결과에 가중치를 적용하여 출력하는 단계; 및 출력계층이 상기 완전연결계층의 상기 복수의 연산 노드로부터 출력을 입력받아 활성화함수를 통한 연산을 수행하여 충돌 확률 및 비충돌 확률을 산출하고, 산출된 충돌 확률 및 비충돌 확률을 출력값으로 출력하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 학습하기 위한 방법
|
| 12 |
12
확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 인지하기 위한 방법에 있어서, 카메라부가 로봇팔의 전방을 촬영하여 3차원 영상을 생성하는 단계; 상기 데이터처리부가 상기 3차원 영상을 변환하여 클라우드 포인트 영상을 생성하는 단계; 상기 데이터처리부가 상기 클라우드 포인트 영상을 변환하여 2차원의 평면의 분포를 나타내는 제1 채널 및 거리를 나타내는 제2 채널을 포함하는 2채널의 충돌격자지도를 생성하는 단계; 인지부가 상기 충돌격자지도를 입력함에 따라 상기 인공신경망이 상기 충돌격자지도에 대해 상기 복수의 연산을 통해 출력값을 산출하는 단계; 상기 인지부가 상기 출력값의 확률에 따라 충돌 여부를 인지하는 단계; 및 제어부가 상기 인지부가 인지한 충돌 여부에 따라 상기 로봇팔의 움직임을 제어하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 방법
|
| 13 |
13
제12항에 있어서, 상기 충돌격자지도를 생성하는 단계는 상기 데이터처리부가 포인트 클라우드의 영상에서 포인트 클라우드를 포인트 클라우드의 x 및 y값에 매핑되는 제1 채널의 셀에 사상하는 단계; 및 상기 데이터처리부가 제2 채널의 셀에 x 및 y의 값에 대한 모든 포인트 클라우드의 z 값의 평균을 해당하는 제2 채널의 셀에 사상하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 방법
|
| 14 |
14
제12항에 있어서, 상기 인공신경망이 상기 충돌격자지도에 대해 상기 복수의 연산을 통해 출력값을 산출하는 단계는 입력계층이 상기 충돌격자지도를 입력받는 단계; 컨볼루션계층이 상기 입력계층의 충돌격자지도에 대해 가중치 행렬로 구성된 제1 필터를 통해 컨볼루션 연산을 수행하여 제1 특징지도를 구성하는 단계; 풀링계층이 상기 컨볼루션계층의 제1 특징지도에 대해 가중치 행렬로 구성된 제2 필터를 통해 풀링 연산을 수행하여 제2 특징지도를 구성하는 단계; 평탄화계층이 상기 풀링계층의 제2 특징지도를 변환하여 하나의 열로 정렬하는 단계; 완전연결계층이 복수의 연산 노드를 통해 하나의 열로 정렬된 제2 특징지도에 대해 활성화함수를 통한 연산 결과에 가중치를 적용하여 출력하는 단계; 및 출력계층이 상기 완전연결계층의 상기 복수의 연산 노드로부터 출력을 입력받아 활성화함수를 통한 연산을 수행하여 충돌 확률 및 비충돌 확률을 산출하고, 산출된 충돌 확률 및 비충돌 확률을 출력값으로 출력하는 단계;를 포함하는 것을 특징으로 하는 충돌 상황을 인지하기 위한 방법
|
