| 1 |
1
컬러 영상 및 깊이 영상을 입력받는 입력부;상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 합성영상 생성부;상기 합성 영상에서 공간 및 객체를 인식하는 객체 인식부;인식한 객체에 대해 3차원 포인트 클라우드를 이용하여 재구성된 3차원 모델을 포함하는 3차원 객체 정보를 추출하는 객체정보 추출부; 및상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역을 상기 제거된 객체 영역의 주변 배경 정보로부터 추정된 배경 영상으로 채워주고, 채워진 배경 영상에 변형된 객체를 합성하여 증강 영상을 생성하는 증강영상 생성부를 포함하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 2 |
2
제 1 항에 있어서,상기 합성영상 생성부는 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 3 |
3
제 1 항에 있어서,상기 객체 인식부는 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 4 |
4
제 1 항에 있어서,상기 객체정보 추출부는 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 5 |
5
제 4 항에 있어서,상기 객체정보 추출부는 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델 및 컬러맵을 출력하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 6 |
6
제 4 항에 있어서,상기 증강영상 생성부는, 상기 컬러 영상에서 상기 객체정보 추출부로부터의 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력하는RGB-D 영상을 이용한 실감형 증강현실 구현 장치
|
| 7 |
7
컬러 영상 및 깊이 영상을 입력받는 단계;상기 컬러 영상 및 상기 깊이 영상의 합성 영상을 생성하는 단계;상기 합성 영상에서 공간 및 객체를 인식하는 단계;인식된 객체에 대해 3차원 포인트 클라우드를 이용하여 재구성된 3차원 모델을 포함하는 3차원 객체 정보를 추출하는 단계; 및상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역을 상기 제거된 객체 영역의 주변 배경 정보로부터 추정된 배경 영상으로 채워주고, 채워진 배경 영상에 변형된 객체를 합성하여 증강 영상을 생성하는 단계를 포함하는RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
| 8 |
8
제 7 항에 있어서,상기 합성 영상을 생성하는 단계는, 상기 컬러 영상과 상기 깊이 영상을 동기화하고, 상기 깊이 영상의 노이즈를 제거하고, 해상도를 보정한 후, 상기 컬러 영상과 상기 깊이 영상의 픽셀을 매핑하여 상기 합성 영상을 생성하는 단계인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
| 9 |
9
제 7 항에 있어서,상기 인식하는 단계는, 상기 합성 영상에서 선분을 검출하고, 검출된 선분을 이용하여 상기 합성 영상에서의 공간 정보를 인식한 후, 상기 합성 영상 내 공간을 다수의 영역으로 분리하고, 분리된 각 영역에서 특징점을 추출하고, 특징점과 공간 상에서의 위치 정보를 이용하여 각 영역 내의 객체를 인식하는 단계인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
| 10 |
10
제 7 항에 있어서,상기 추출하는 단계는, 인식된 객체에 대한 깊이 영상을 이용하여 생성되는 3차원 포인트 클라우드를 이용하여 자세 변화를 추정하고, 상기 3차원 포인트 클라우드를 이용하여 3차원 모델을 재구성하고, 상기 컬러 영상과 상기 깊이 영상의 매핑을 이용하여, 재구성된 3차원 모델의 컬러맵을 추출하고, 추출된 3차원 모델 및 컬러맵을 출력하는 단계인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
| 11 |
11
제 10 항에 있어서,상기 추출하는 단계는, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는지를 판단하여, 기존에 추출된 3차원 모델 및 컬러맵이 존재하는 경우에 현재 추출된 3차원 모델과 컬러맵을 기존에 추출된 3차원 모델 및 컬러맵 각각과 합성한 후 3차원 모델과 컬러맵을 출력하는 것을 포함하는RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
| 12 |
12
제 10 항에 있어서,상기 증강 영상을 생성하는 단계는, 상기 컬러 영상에서 상기 3차원 모델에 해당하는 객체 영역을 제거하고, 제거된 객체 영역의 주변 배경 정보를 이용하여 배경 영상을 추정하고, 제거된 영역을 추정한 배경 영상으로 채워주고, 증강 영상에 객체가 나타나는 효과가 적용되는 경우, 채원진 배경 영상에 객체를 합성하여 출력하는 단계인 RGB-D 영상을 이용한 실감형 증강현실 구현 방법
|
