| 1 |
1
객체의 3차원 이미지 및 음향을 감지하여 상기 객체에 대한 3차원 이미지정보 및 음향정보를 생성하는 3차원 센서부;상기 음향정보에서 소음을 제거하고 상기 음향정보를 시각화하며 상기 음향정보의 특성을 추출하는 전처리부;상기 3차원 이미지정보 및 상기 시각화된 음향정보를 학습하여 찾아낸 패턴으로 상기 3차원 이미지정보 및 상기 시각화된 음향정보를 분류하는 이미지 분류부;상기 분류된 3차원 이미지정보를 매핑한 결과와 상기 분류된 음향정보를 인공지능의 RNN(Recurrent Neural Network) 응용기술인 LSTM(Long Short-Term Memory)에 적용시킨 결과를 학습하여 상기 객체의 기계적 특성을 분석한 분석정보를 생성하는 특성분석부; 및상기 특성분석부로부터 전송되는 상기 분석정보를 기반으로 상기 3차원 이미지정보에 상기 객체의 거리 좌표점과 상기 객체의 각 좌표점의 상기 음향정보를 융합한 데이터세트를 생성하는 데이터세트 생성부;를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식장치
|
| 2 |
2
제1 항에 있어서,상기 전처리부는 상기 음향정보의 소음을 제거한 정보를 멜 스펙트로그램(mel spectrogram)에 적용한 정보를 MFCC(Mel-Frequency Cepstral Coefficient)로 전송하고,상기 MFCC는 상기 시각화된 음향정보로부터 시각화된 특성정보를 추출하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식장치
|
| 3 |
3
제2 항에 있어서,상기 이미지분류부는,상기 3차원 센서부로부터 전송되는 상기 3차원 이미지정보를 학습하여 3차원 이미지패턴을 찾아낸 후 상기 3차원 이미지패턴을 이용하여 상기 3차원 이미지정보를 분류하는 제1 이미지분류부; 및상기 MFCC로부터 전송되는 상기 시각화된 특성정보를 학습하여 특성패턴을 찾아낸 후 상기 특성패턴을 이용하여 상기 시각화된 특성정보를 분류하는 제2 이미지분류부;를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식장치
|
| 4 |
4
제3 항에 있어서,상기 특성분석부는,상기 제1 이미지분류부로부터 전송되는 상기 3차원 이미지정보를 분류한 3차원 이미지 분류정보를 매핑하는 매핑부;상기 제2 이미지분류부로부터 전송되는 상기 시각화된 특성정보를 분류한 시각화된 특성분류정보를 학습하는 LSTM부; 및상기 매핑부로부터 전송되는 상기 3차원 이미지 분류정보와 상기 LSTM부로부터 전송되는 상기 시각화된 특성분류정보를 학습하는 RPN(Reason Proposal Network)부;를 포함하고,상기 매핑부는 상기 객체의 각 좌표점의 상기 음향정보를 컬러에서 주파수로 매핑하고 길이를 진폭으로 매핑하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식장치
|
| 5 |
5
제4 항에 있어서,상기 음향정보는 상기 객체에 대한 속도정보, 진동정보 및 음성정보를 포함하고,상기 데이터세트 생성부는 상기 RPN부에서 학습된 정보를 기반으로 상기 객체의 3차원이미지에 상기 속도정보, 상기 진동정보 및 상기 음성정보 중 적어도 어느 하나가 표시되는 데이터세트를 생성하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식장치
|
| 6 |
6
(a) 3차원 센서부가 객체의 3차원 이미지 및 음향을 감지하여 상기 객체에 대한 3차원 이미지정보 및 음향정보를 생성하는 단계;(b) 전처리부가 상기 음향정보에서 소음을 제거하고 상기 음향정보를 시각화하며 상기 음향정보의 특성을 추출하는 단계;(c) 이미지분류부가 상기 3차원 이미지정보 및 상기 시각화된 음향정보를 학습하여 찾아낸 패턴으로 상기 3차원 이미지정보 및 상기 시각화된 음향정보를 분류하는 단계;(d) 특성분석부가 상기 분류된 3차원 이미지정보를 매핑한 결과와 상기 분류된 음향정보를 LSTM에 적용시킨 결과를 학습하여 객체의 기계적 특성을 분석한 분석정보를 생성하는 단계; 및(e) 데이터세트 생성부가 상기 특성분석부로부터 전송되는 상기 분석정보를 기반으로 상기 3차원 이미지정보에 상기 객체의 거리 좌표점과 상기 객체의 각 좌표점의 음향정보를 융합한 데이터세트를 생성하는 단계;를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
| 7 |
7
제6 항에 있어서,상기 (a) 단계는,(a1) 상기 3차원 센서부가 상기 객체의 형상을 감지한 상기 3차원 이미지정보를 생성하는 단계;(a2) 상기 3차원 센서부가 상기 객체의 상태를 감지한 상기 음향정보를 생성하는 단계; 및(a3) 상기 3차원 센서부가 상기 음향정보를 상기 전처리부로 전송하는 단계를 포함하고,상기 음향정보는 상기 객체에 대한 속도정보, 진동정보 및 음성정보를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
| 8 |
8
제7 항에 있어서,상기 (b) 단계는,(b1) 상기 전처리부가 상기 3차원 센서부로부터 전송되는 상기 음향정보를 수신하는 단계;(b2) 상기 전처리부가 상기 음향정보에서 소음을 제거하는 단계;(b3) 상기 전처리부가 상기 소음이 제거된 음향정보를 상기 MFCC에 적용시켜 상기 시각화된 음향정보로부터 시각화된 특성정보를 추출하는 단계; 및(b4) 상기 전처리부가 상기 이미지분류부로 상기 시각화된 특성정보를 전송하는 단계;를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
| 9 |
9
제8 항에 있어서,상기 (c) 단계는,(c1) 제1 이미지분류부가 상기 3차원 센서부로부터 전송되는 상기 3차원 이미지정보를 수신하는 단계;(c2) 제1 이미지분류부가 상기 3차원 이미지정보를 학습하여 3차원 이미지패턴을 찾아내는 단계;(c3) 상기 제1 이미분류부가 상기 3차원 이미지패턴을 이용하여 상기 3차원 이미지정보를 분류하는 단계;(c4) 제2 이미지분류부가 상기 MFCC로부터 전송되는 상기 시각화된 특성정보를 학습하여 특성패턴을 찾아내는 단계;(c5) 상기 제2 이미지분류부가 상기 특성패턴을 이용하여 상기 시각화된 특성정보를 분류하는 단계; 및(c6) 상기 제1, 2 이미지분류부가 상기 분류된 3차원 이미지정보 및 상기 분류된 특성정보를 상기 특성분석부로 전송하는 단계;를 포함하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
| 10 |
10
제9 항에 있어서,상기 (d) 단계는,(d1) 매핑부가 상기 제1 이미지분류부로부터 전송되는 상기 3차원 이미지정보를 분류한 3차원 이미지 분류정보를 매핑하는 단계;(d2) LSTM부가 상기 제2 이미지분류부로부터 전송되는 상기 시각화된 특성정보를 분류한 시각화된 특성분류정보를 학습하는 단계; 및(d3) RPN부가 상기 매핑부로부터 전송되는 상기 3차원 이미지 분류정보와 상기 LSTM부로부터 전송되는 상기 시각화된 특성분류정보를 학습하여 객체의 특성을 분석하는 단계;를 포함하고,상기 매핑부는 상기 객체의 각 좌표점의 상기 음향정보를 컬러에서 주파수로 매핑하고 길이를 진폭으로 매핑하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
| 11 |
11
제10 항에 있어서,상기 (e) 단계에서,상기 음향정보는 상기 객체에 대한 속도정보, 진동정보 및 음성정보를 포함하고,상기 데이터세트 생성부는 상기 RPN부에서 학습된 정보를 기반으로 상기 객체의 3차원이미지에 상기 속도정보, 상기 진동정보 및 상기 음성정보 중 적어도 어느 하나가 표시되는 데이터세트를 생성하는 것을 특징으로 하는 다차원 센서 데이터 기반 객체인식방법
|
