| 1 |
1
절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 이미지를 수신하는 이미지 수신부;수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 식생 영역 식별부;상기 복수의 이미지 각각에서 특징점을 추출하는 특징점 추출부;상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지를 알 수 있게 되는 특징점 관계 정보를 생성하는 특징점 매칭부;상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드 및 카메라의 정보를 산출하는데, 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라의 초점거리, 카메라의 위치, 및 카메라의 방향을 포함하는 카메라 정보, 및 3차원 공간상의 특정점을 추정하여 비선형 최적화에 의해 스파스 포인트 클라우드 및 카메라의 정보를 산출하며, 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우에는 해당 특징점을 제외하고 계산을 수행함으로써 식생 영역에 포함되는 특징점을 제외시킨 채로 스파스 포인트 클라우드 및 카메라의 정보를 산출하는 스파스 포인트 및 카메라 정보 산출부;상기 스파스 포인트, 상기 카메라의 정보, 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드를 산출하는 덴스 포인트 산출부; 및상기 덴스 포인트 클라우드에 기초하여 절토 사면의 3차원 모델을 생성하는 입체 영상 생성부를 포함하며; 식생 영역 식별부는 이미지 내의 식생 영역을 식별하도록 학습된 식별 모델을 포함하는데, 상기 식별 모델은 컨볼루셔널 신경망 모델, 재귀 신경망 모델, 및 제한 볼츠만 머신 중 하나의 딥 러닝 모델이고; 식생 영역 식별부는, 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식하며, 상기 인식된 식생의 경계에 따라 식생 영역과 비식생 영역을 구분하고, 상기 식생 영역에 대한 표시(마스크) 처리를 더 수행함으로써 상기 식생 영역 식별정보를 생성하며; 덴스 포인트 산출부는, 상기 식생 영역 식별정보를 기초로 이미지에서 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성하는 것을 특징으로 하는 절토사면의 3차원 모델 생성 시스템
|
| 6 |
6
이미지 수신부, 식생 영역 식별부, 특징점 추출부, 특징점 매칭부, 스파스 포인트 및 카메라 정보 산출부, 덴스 포인트 산출부, 및 입체 영상 생성부를 포함하는 3차원 모델 생성 시스템을 이용하여 절토사면의 3차원 모델을 생성하는 방법으로서, 절토사면을 서로 다른 위치에서 카메라로 촬영한 복수의 2차원 이미지를 이미지 수신부에서 수신하는 단계;식생 영역 식별부에서, 상기 수신된 복수의 이미지를 딥 러닝을 통해 분석하여 상기 수신된 복수의 이미지 내의 식생 영역을 식별한 식생 영역 식별정보를 생성하는 단계;특징점 추출부에서, 상기 복수의 이미지 각각에 대해 특징점을 추출하는 단계;특징점 매칭부에서, 상기 복수의 이미지 각각의 추출된 특징점 사이의 관계를 매칭하여 복수의 이미지 내에 추출되는 특징점들 중에서 동일한 특징점이 어느 이미지의 어느 위치에 나타나는지를 알 수 있게 되는 특징점 관계 정보를 생성하는 단계;스파스 포인트 및 카메라 정보 산출부에서, 상기 특징점 관계 정보 및 상기 식생 영역 식별정보에 기초하여 복수의 이미지 각각의 추출된 특징점의 3차원 좌표 값인 스파스 포인트 클라우드 및 카메라의 정보를 산출하는데, 2차원 이미지에서 추출된 특징점 사이의 관계 정보를 통해, 카메라의 초점거리, 카메라의 위치, 및 카메라의 방향을 포함하는 카메라 정보, 및 3차원 공간상의 특정점을 추정하여 비선형 최적화에 의해 스파스 포인트 클라우드 및 카메라의 정보를 산출하며, 비선형 최적화에 사용되는 특징점이 식생 영역에 포함되는 경우에는 해당 특징점을 제외하고 계산을 수행함으로써 식생 영역에 포함되는 특징점을 제외시킨 채로 스파스 포인트 클라우드 및 카메라의 정보를 산출하는 단계;덴스 포인트 산출부에서, 상기 스파스 포인트, 상기 카메라의 정보, 및 상기 식생 영역 식별정보에 기초하여 이미지의 픽셀에 대응하는 3차원 좌표인 덴스 포인트 클라우드를 산출하는 단계; 및입체 영상 생성부에서, 상기 덴스 포인트 클라우드에 기초하여 절토 사면의 3차원 모델을 생성하는 단계를 포함하며; 식생 영역 식별부에서 수행되는 딥 러닝을 통한 분석은, 이미지 내의 식생 영역을 식별하도록 학습된 식별 모델을 이용하여 수행되는데, 상기 식별 모델은 컨볼루셔널 신경망 모델, 재귀 신경망 모델, 및 제한 볼츠만 머신 중 하나의 딥 러닝 모델이고; 식생 영역 식별부에서 수행되는 식생 영역 식별정보의 생성 단계에서는, 식생의 존재 여부, 식생의 위치 및 식생의 경계를 순차적으로 인식하며, 상기 인식된 식생의 경계에 따라 식생 영역과 비식생 영역을 구분하고, 상기 식생 영역에 대한 표시(마스크) 처리를 더 수행함으로써 상기 식생 영역 식별정보를 생성하게 되고; 덴스 포인트 산출부에서 수행되는 덴스 포인트 클라우드의 산출 단계에서는, 상기 식생 영역 식별정보를 기초로 이미지에서 식생 영역에 해당하는 픽셀들을 제외하고 덴스 포인트 클라우드를 생성하게 되는 것을 특징으로 하는 절토사면의 3차원 모델 생성방법
|
