| 1 |
1
삭제
|
| 2 |
2
삭제
|
| 3 |
3
한 장의 실내 컬러 영상(RGB)과 그에 대한 깊이 영상(Depth)을 활용하여 딥러닝 기반 픽셀단위 의미론적 분할을 수행하는 네트워크 장치에 있어서,상위 단계에서 하위 단계로 이어지고 각 단계별로 CNN(Convolutional Neural Network)으로 된 다수의 단계로 구성되어, 컬러 영상으로부터 단계적 특성 정보를 추출하는 제1 레지듀얼 네트워크 모듈;상위 단계에서 하위 단계로 이어지고 각 단계별로 CNN(Convolutional Neural Network)으로 된 다수의 단계로 구성되어, 깊이 영상으로부터 단계적 특성 정보를 추출하는 제2 레지듀얼 네트워크 모듈; 및상기 제1 레지듀얼 네트워크 모듈 및 상기 제2 레지듀얼 네트워크 모듈의 각 단계별로 추출된 특성 정보를 결합하는 다중 특성 결합 네트워크(MMFNet) 모듈;을 포함하여 구성되고,상기 다중 특성 결합 네트워크 모듈은 각 단계별로, 상기 제1 레지듀얼 네트워크 모듈 및 상기 제2 레지듀얼 네트워크 모듈의 대응하는 단계에서 추출된 컬러 특성 정보 및 깊이 특성 정보 각각에 대하여,특성 정보의 차원을 줄여서 파라미터의 급증을 완화하는 콘볼루션 블록;형태 결합을 위해 비선형 변형을 수행하는 2개의 레지듀얼 콜볼루션 유닛; 및다른 형태의 특성 정보를 적응적으로 결합하고, 덧셈을 위해 특성 값의 스케일을 조정하는 콘볼루션 블록;이 차례로 연결되고,스케일 조정된 컬러 특성 정보와 깊이 특성 정보가 덧셈 결합되는 것을 특징으로 하는 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
|
| 4 |
4
제3항에 있어서,컬러 특성 정보와 깊이 특성 정보가 결합된 특성 정보에 문맥상의 정보를 합체시키는 레지듀얼 풀링 블록을 더 포함하는 것을 특징으로 하는 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
|
| 5 |
5
제3항에 있어서, 각 단계별로하위 단계의 정제된 특성 정보와 상기 다중 특성 결합 네트워크 모듈의 대응하는 단계에서 결합된 특성 정보를 입력으로 하여 정제하는 RefineNet을 더 포함함을 특징으로 하는 실내 의미론적 분할을 위한 컬러-깊이 영상의 단계적 레지듀얼 특성 결합 네트워크 장치
|
| 6 |
6
삭제
|
| 7 |
7
삭제
|
| 8 |
8
한 장의 실내 컬러 영상(RGB)과 그에 대한 깊이 영상(Depth)을 활용하여 딥러닝 기반 픽셀단위 의미론적 분할을 수행하는 방법에 있어서,(a) 상위 단계에서 하위 단계로 이어지고 각 단계별로 CNN(Convolutional Neural Network)으로 된 다수의 단계로 구성된 제1 레지듀얼 네트워크 모듈이 컬러 영상을 입력으로 하여, 단계적 특성 정보를 추출하는 단계;(b) 상위 단계에서 하위 단계로 이어지고 각 단계별로 CNN(Convolutional Neural Network)으로 된 다수의 단계로 구성된 제2 레지듀얼 네트워크 모듈이 깊이 영상을 입력으로 하여, 단계적 특성 정보를 추출하는 단계; 및(c) 다중 특성 결합 네트워크 모듈이 상기 제1 레지듀얼 네트워크 모듈 및 상기 제2 레지듀얼 네트워크 모듈의 각 단계별로 추출된 특성 정보를 결합하는 단계;를 포함하여 구성되고,상기 (c) 단계는상기 다중 특성 결합 네트워크 모듈은 각 단계별로, 상기 제1 레지듀얼 네트워크 모듈 및 상기 제2 레지듀얼 네트워크 모듈의 대응하는 단계에서 추출된 컬러 특성 정보 및 깊이 특성 정보 각각에 대하여,특성 정보의 차원을 줄여서 파라미터의 급증을 완화하는 단계;형태 결합을 위해 비선형 변형을 수행하는 단계; 및다른 형태의 특성 정보를 적응적으로 결합하고, 덧셈을 위해 특성 값의 스케일을 조정하는 단계;를 구비하고,스케일 조정된 컬러 특성 정보와 깊이 특성 정보를 덧셈 결합하는 것을 특징으로 하는 단계적 레지듀얼 특성 결합 네트워크 장치를 이용한 실내 컬러-깊이 영상의 의미론적 분할 방법
|
| 9 |
9
제8항에 있어서, 상기 (c) 단계는 컬러 특성 정보와 깊이 특성 정보가 결합된 특성 정보에 문맥상의 정보를 합체시키는 단계를 더 구비하는 것을 특징으로 하는 단계적 레지듀얼 특성 결합 네트워크 장치를 이용한 실내 컬러-깊이 영상의 의미론적 분할 방법
|
| 10 |
10
제8항에 있어서, (d) RefineNet가 각 단계별로 하위 단계의 정제된 특성 정보와 상기 다중 특성 결합 네트워크 모듈의 대응하는 단계에서 결합된 특성 정보를 입력으로 하여 정제하는 단계;를 더 포함함을 특징으로 하는 단계적 레지듀얼 특성 결합 네트워크 장치를 이용한 실내 컬러-깊이 영상의 의미론적 분할 방법
|
| 11 |
11
제8항 내지 제10항 중 어느 한 항의 단계적 레지듀얼 특성 결합 네트워크 장치를 이용한 실내 컬러-깊이 영상의 의미론적 분할 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체
|
| 12 |
12
제8항 내지 제10항 중 어느 한 항의 단계적 레지듀얼 특성 결합 네트워크 장치를 이용한 실내 컬러-깊이 영상의 의미론적 분할 방법을 컴퓨터에서 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램
|
