| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 3차원 융합 센서 장치로서,초음파 신호를 방사하는 초음파 송신기,상기 초음파 신호가 물체에 반사된 초음파 데이터를 수신하는 복수의 초음파 수신기들, 영상을 촬영하는 시각 센서, 그리고각 초음파 수신기에서 수신한 채널별 초음파 데이터로부터 추출한 청각 특징과 상기 시각 센서의 촬영 영상들로부터 추출한 시각 특징을 통합하고, 통합 특징으로부터 물체 정보를 획득하는 프로세서를 포함하는 3차원 시청각 융합 센서 장치
|
| 2 |
2
제1항에서,상기 프로세서는박쥐 모방 신경망을 이용하여, 상기 채널별 초음파 데이터로부터 생성된 채널별 초음파 이미지들을 이용하여 상기 청각 특징을 추출하고, 상기 촬영 영상들로부터 생성된 시각 이미지들을 이용하여 상기 시각 특징들을 추출하는, 3차원 시청각 융합 센서 장치
|
| 3 |
3
제2항에서,상기 프로세서는시계열 데이터인 상기 채널별 초음파 데이터를 GAF(Gramian Angular Field) 알고리즘을 통해 이미지화하여 상기 채널별 초음파 이미지들을 생성하는, 3차원 시청각 융합 센서 장치
|
| 4 |
4
제3항에서,상기 프로세서는각 채널의 초음파 데이터에서 복수의 주파수 범위들을 추출하고, 주파수 범위별 필터링 신호에서 시간 간격마다 에너지를 계산하여 주파수 범위별로 시간 간격에 대한 에너지 데이터를 생성하고, 주파수 범위별 에너지 데이터를 상기 GAF 알고리즘을 통해 해당 채널의 초음파 이미지들로 변환하는, 3차원 시청각 융합 센서 장치
|
| 5 |
5
제4항에서,상기 프로세서는상기 주파수 범위별 에너지 데이터를 SNR 도메인으로 변환하여, 시간 간격에 대한 SNR 데이터를 생성한 후, 주파수 범위별 SNR 데이터를 상기 GAF 알고리즘을 통해 해당 채널의 초음파 이미지들로 변환하는, 3차원 시청각 융합 센서 장치
|
| 6 |
6
제1항에서,상기 시각 센서는 RGB 카메라이고,상기 촬영 영상들로부터 생성된 상기 시각 이미지들은 그레이 스케일 이미지, 엣지 이미지, 그리고 YOLO 이미지 중 적어도 하나를 포함하는, 3차원 시청각 융합 센서 장치
|
| 7 |
7
제2항에서,상기 프로세서는 상기 채널별 초음파 이미지들로부터 채널 데이터를 생성하고, 채널 데이터들을 복수 조합의 연결 경로를 통해 조합 및 통합하여 상기 초음파 데이터에 포함된 청각 특징을 추출하는, 3차원 시청각 융합 센서 장치
|
| 8 |
8
제2항에서,상기 박쥐 모방 신경망은 채널별로 수신한 초음파 데이터의 차이를 계산하는 복수의 SOC(Superior Olivary Complex) 레이어들을 포함하고,상기 복수의 SOC 레이어들은4개의 채널에 대응하는 4개의 경로를 통해 각 채널 데이터의 특징을 추출하는 제1 SOC 레이어,상기 4개 채널들을 2개씩 조합한 6개의 경로를 통해, 2개씩 조합된 채널 데이터의 특징을 추출하는 제2 SOC 레이어,상기 4개 채널들을 3개씩 조합한 4개의 경로를 통해, 3개씩 조합된 채널 데이터의 특징을 추출하는 제3 SOC 레이어, 그리고상기 4개 채널들을 모두 조합한 1개의 경로를 통해, 모든 채널 데이터의 특징을 추출하는 제4 SOC 레이어를 포함하는, 3차원 시청각 융합 센서 장치
|
| 9 |
9
제1항에서,상기 물체 정보는 물체 위치, 물체 크기, 그리고 물체 존재에 대한 신뢰도를 포함하는, 3차원 시청각 융합 센서 장치
|
| 10 |
10
적어도 하나의 프로세서에 의해 동작하는 3차원 융합 센서 장치의 동작 방법으로서, 복수의 초음파 수신기들에서 수신한 채널별 초음파 데이터를 획득하는 단계,시각 센서에서 촬영된 촬영 영상들을 획득하는 단계,박쥐 청각 시스템을 모방한 네트워크 구조를 가지는 제1 인코더를 통해, 상기 채널별 초음파 데이터에 포함된 청각 특징을 추출하는 단계, 제2 인코더를 통해, 상기 촬영 영상들에 포함된 시각 특징을 추출하는 단계, 그리고단일 디코더를 통해, 상기 청각 특징과 상기 시각 특징의 통합 특징을 디코딩하여 물체 정보를 획득하는 단계를 포함하는, 동작 방법
|
| 11 |
11
제10항에서,상기 청각 특징을 추출하는 단계는시계열 데이터인 상기 채널별 초음파 데이터를 채널별 초음파 이미지들로 변환하고, 상기 제1 인코더를 통해 상기 채널별 초음파 이미지들에 포함된 청각 특징을 추출하는, 동작 방법
|
| 12 |
12
제11항에서,상기 청각 특징을 추출하는 단계는각 채널의 초음파 데이터에서 복수의 주파수 범위들을 추출하고, 주파수 범위별 필터링 신호에서 시간 간격마다 에너지를 계산하여 주파수 범위별로 시간 간격에 대한 에너지 데이터를 생성하고, 주파수 범위별 에너지 데이터를 GAF(Gramian Angular Field) 알고리즘을 통해 해당 채널의 초음파 이미지들로 변환하는, 동작 방법
|
| 13 |
13
제11항에서,상기 제1 인코더는 상기 채널별 초음파 이미지들로부터 시간/스펙트럼 정보를 포함하는 채널별 채널 데이터를 추출하는 채널별 CN 컨볼루션 레이어,상기 CN 컨볼루션 레이어들에서 출력된 각 채널의 채널 데이터를 복수 조합의 연결 경로를 통해 비교하는 복수의 SOC 레이어들, 그리고상기 SOC 레이어들의 출력을 통합하는 컨볼루션 레이어들을 포함하는, 동작 방법
|
| 14 |
14
제13항에서,상기 복수의 SOC 레이어들은4개의 채널에 대응하는 4개의 경로를 통해 각 채널 데이터의 특징을 추출하는 제1 SOC 레이어,상기 4개 채널들을 2개씩 조합한 6개의 경로를 통해, 2개씩 조합된 채널 데이터의 특징을 추출하는 제2 SOC 레이어,상기 4개 채널들을 3개씩 조합한 4개의 경로를 통해, 3개씩 조합된 채널 데이터의 특징을 추출하는 제3 SOC 레이어, 그리고상기 4개 채널들을 모두 조합한 1개의 경로를 통해, 모든 채널 데이터의 특징을 추출하는 제4 SOC 레이어를 포함하는, 동작 방법
|
| 15 |
15
제10항에서,상기 시각 특징을 추출하는 단계는RGB 이미지인 상기 촬영 영상들을 전처리하여 시각 이미지들을 생성하고, 상기 제2 인코더를 통해 상기 시각 이미지들에 포함된 시각 특징을 추출하며, 상기 시각 이미지들은 그레이 스케일 이미지, 엣지 이미지, 그리고 YOLO 이미지 중 적어도 하나를 포함하는, 동작 방법
|
| 16 |
16
제10항에서,상기 제2 인코더는 상기 시각 이미지들로부터 상기 청각 특징과 동일한 크기의 상기 시각 특징을 추출하는 네트워크인, 동작 방법
|
| 17 |
17
제10항에서,상기 물체 정보는 물체 위치, 물체 크기, 그리고 물체 존재에 대한 신뢰도를 포함하는, 동작 방법
|
