| 1 |
1
색상 영상 및 깊이 영상을 획득하여 입력하는 영상 입력부;상기 색상 영상 및 상기 깊이 영상의 합성 영상을 생성하고, 생성된 합성 영상의 해상도를 보정하며 노이즈를 제거하는 영상 처리부;상기 깊이 영상의 깊이 값을 이용하여 해당 깊이 영상에 포함된 객체의 크기 정보를 추출하는 크기정보 추출부; 및상기 영상 처리부에 의해 보정된 합성 영상 및 상기 크기정보 추출부에 의해 추출된 객체의 크기 정보를 컨볼루션 신경망에 적용하여 객체를 인식하는 객체 인식부를 포함하되,상기 영상 처리부는 상기 깊이 영상을 업샘플링(upsampling)하여 깊이 영상의 해상도를 높이도록 하는 것인 컨볼루션 신경망을 이용한 객체 인식 장치
|
| 2 |
2
제1항에 있어서, 상기 영상 처리부는, 상기 깊이 영상의 깊이값을 이용하여 깊이 영상의 픽셀에 대응되는 색상 영상의 픽셀을 매핑하여 합성 영상을 생성하고, 합성 영상에서 색상 영상과 깊이 영상이 매핑되지 않는 영역을 잘라냄으로써 합성 영상의 해상도를 보정하는 것인 컨볼루션 신경망을 이용한 객체 인식 장치
|
| 3 |
3
제2항에 있어서, 상기 영상 처리부는, 마르코프 랜덤 필드(Markov Random Field, MRF), 시공간 필터(Spatiotemporal filter) 및 에지를 보존하는 양방향 필터(Bilateral filter) 중 적어도 하나를 이용하여 깊이 영상을 업샘플링(upsampling)하여 상기 깊이 영상의 해상도를 높이도록 하는 것인 컨볼루션 신경망을 이용한 객체 인식 장치
|
| 4 |
4
제2항에 있어서, 상기 영상 처리부는,양방향 필터 및 중간값 필터(Median filter) 중 적어도 하나를 이용하여 깊이 영상의 노이즈를 제거하는 것인 컨볼루션 신경망을 이용한 객체 인식 장치
|
| 5 |
5
제1항에 있어서, 상기 객체 인식부의 컨볼루션 신경망은, 원영상으로부터 추출된 코너 특징점을 추적함으로써 카메라의 움직임(Ego-motion)을 예측하고, 상기 카메라의 움직임과 다른 움직임의 성분을 갖는 객체의 영역을 관심 영역(Region of interest, ROI)으로 설정하는 특징점 추출기; 및 다중 계층 신경망으로 구성되어, 상기 설정된 ROI에 포함된 객체를 분류하는 신경망 분류기를 포함하는 것인 컨볼루션 신경망을 이용한 객체 인식 장치
|
| 6 |
6
컨볼루션 신경망을 이용한 객체 인식 장치에 의해 수행되는 객체 인식 방법에 있어서,색상 영상 및 깊이 영상을 획득하여 입력하는 단계; 상기 색상 영상 및 상기 깊이 영상의 합성 영상을 생성하고, 생성된 합성 영상의 해상도를 보정하고 노이즈를 제거하는 단계; 상기 깊이 영상의 깊이 값을 이용하여 해당 깊이 영상에 포함된 객체의 크기 정보를 추출하는 단계; 및상기 보정된 합성 영상 및 상기 추출된 객체의 크기 정보를 컨볼루션 신경망에 적용하여 객체를 인식하는 단계를 포함하되,상기 합성 영상의 해상도를 보정하고 노이즈를 제거하는 단계는 상기 깊이 영상을 업샘플링(upsampling)하여 깊이 영상의 해상도를 높이는 것인 컨볼루션 신경망을 이용한 객체 인식 방법
|
| 7 |
7
제6항에 있어서, 상기 합성 영상의 해상도를 보정하고 노이즈를 제거하는 단계는, 상기 깊이 영상의 깊이값을 이용하여 깊이 영상의 픽셀에 대응되는 색상 영상의 픽셀을 매핑하여 합성 영상을 생성하고, 합성 영상에서 색상 영상과 깊이 영상이 매핑되지 않는 영역을 잘라냄으로써 합성 영상의 해상도를 보정하는 단계를 포함하는 것인 컨볼루션 신경망을 이용한 객체 인식 방법
|
| 8 |
8
제7항에 있어서, 상기 합성 영상의 해상도를 보정하고 노이즈를 제거하는 단계는, 마르코프 랜덤 필드(Markov Random Field, MRF), 시공간 필터(Spatiotemporal filter) 및 에지를 보존하는 양방향 필터(Bilateral filter) 중 적어도 하나를 이용하여 상기 깊이 영상을 업샘플링(upsampling)하여 깊이 영상의 해상도를 높이는 것인 컨볼루션 신경망을 이용한 객체 인식 방법
|
| 9 |
9
제7항에 있어서, 상기 합성 영상의 해상도를 보정하고 노이즈를 제거하는 단계는,양방향 필터 및 중간값 필터(Median filter) 중 적어도 하나를 이용하여 깊이 영상의 노이즈를 제거하는 것인 컨볼루션 신경망을 이용한 객체 인식 방법
|
| 10 |
10
제6항에 있어서, 상기 객체를 인식하는 단계는, 특징점 추출기를 이용하여 원영상으로부터 추출된 코너 특징점을 추적함으로써 카메라의 움직임(Ego-motion)을 예측하고, 상기 카메라의 움직임과 다른 움직임의 성분을 갖는 객체의 영역을 관심 영역(Region of interest, ROI)으로 설정하는 단계; 및 다중 계층 신경망으로 구성된 신경망 분류기를 이용하여 상기 설정된 ROI에 포함된 객체를 분류하는 단계를 포함하는 것인 컨볼루션 신경망을 이용한 객체 인식 방법
|
