맞춤기술찾기

이전대상기술

모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법

  • 기술번호 : KST2015200220
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 개시된 본 발명에 따른 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템은 설계도면 관리서버(100)와 스마트폰(200)을 포함한다. 스마트폰(200)에는 카메라(201)와 디스플레이부(202)가 구비되며, 터치 스크린 방식인 경우 입력부와 디스플레이부가 같이 구현되는 것이 일반적이다. 본 발명의 실시예에 의하면, 스마트폰(200)의 카메라(201)를 통해 2차원 설계도면을 비추면 도면 영역을 검출하여 특징점을 추출하고 스마트폰의 캐시 또는 설계도면 관리서버에 저장되어 있는 특징점들과의 매칭을 통해 설계도면을 인식하고 3차원 모델을 전송받아, 스마트폰(200)의 디스플레이부(202)에 전송받은 3차원 모델을 설계도면 위에 증강시켜 출력하도록 하게 된다. 본 발명에 의하면 설계도면의 영역을 ROI로 먼저 추출한 다음 ROI 영역에 대해서만 특징점을 추출하여 매칭함으로써 전체 영상에 대해 특징점을 추출하는 기존의 방법에 비해 계산량이 적기 때문에 20~30%정도 인식시간이 적게 걸리게 된다. 또한 설계도면 이외의 불필요한 주위 사물들을 제외한 ROI 영역에 대해서만 매칭을 수행하므로 기존의 전체 영상을 매칭시키는 방법에 비해 인식율이 5~10%정도 높은 효과가 있다.
Int. CL G06T 17/10 (2006.01.01) G06T 7/00 (2017.01.01) G06T 19/00 (2011.01.01)
CPC G06T 17/10(2013.01) G06T 17/10(2013.01) G06T 17/10(2013.01)
출원번호/일자 1020130140108 (2013.11.18)
출원인 순천대학교 산학협력단
등록번호/일자 10-2178975-0000 (2020.11.09)
공개번호/일자 10-2015-0058617 (2015.05.29) 문서열기
공고번호/일자 (20201113) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.11.19)
심사청구항수 8

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 순천대학교 산학협력단 대한민국 전라남도 순천시

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김응곤 대한민국 전라남도 순천시 조례*길
2 오연재 대한민국 전라남도 순천시 삼산*길 **
3 박경욱 대한민국 전라남도 순천시
4 오상숙 대한민국 전라남도 목포시 옥암로 *

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 정성종 대한민국 서울특별시 서초구 남부순환로***길 **, *층 (서초동, 영동빌딩)(제이앤케이국제특허사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 순천대학교 산학협력단 전라남도 순천시
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2013.11.18 수리 (Accepted) 1-1-2013-1048314-10
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2014.02.18 수리 (Accepted) 4-1-2014-5021788-47
3 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2018.11.19 수리 (Accepted) 1-1-2018-1152114-20
4 의견제출통지서
Notification of reason for refusal
2020.02.21 발송처리완료 (Completion of Transmission) 9-5-2020-0136127-19
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.04.28 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0438157-37
6 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.04.28 수리 (Accepted) 1-1-2020-0438159-28
7 등록결정서
Decision to grant
2020.07.29 발송처리완료 (Completion of Transmission) 9-5-2020-0516060-62
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
설계도면의 대표 특징점을 추출하여 데이터베이스 모듈에 저장하는 인식 모듈(110)과, 설계도면과 설계도면의 대표 특징점 및 설계도면에 대응되는 3차원 모델이 저장되는 데이터베이스 모듈(120)을 포함하는 설계도면 관리서버(100); 및, 카메라(201)와, 디스플레이부(202) 및 복수의 설계도면들의 대표 특징점이 저장된 제1 캐시(230)를 포함하는 스마트폰(200);을 포함하며,상기 스마트폰(200)은,상기 카메라(201)로부터 획득한 설계도면 영상으로부터 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 ROI 영역 설정부(212)와, 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 특징점 추출부(214)와, 상기 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 특징점 매칭부(216), 및 매칭된 설계도면이 있는 경우 해당 설계도면을 인식하여 이에 대응되는 3D 모델을 제2 캐시(240)로부터 로딩하는 설계도면 인식부(218)를 포함하는 설계도면 인식 모듈(210); 및,상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 트래킹부(222)와, 상기 트래킹부(222)에 의해 계산된 거리 및 각도에 대응하여 상기 로딩된 3D 모델을 기하변환(Geometric Transformation) 하는 기하변환부(224), 및 상기 기하변환된 3D 모델을 상기 카메라(201)로부터 입력되는 설계도면 영상에 정합하여 상기 디스플레이부(202)에 표시하는 영상정합부(226)를 포함하는 3D모델 시각화 모듈(220)을 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템
2 2
제 1 항에 있어서,상기 특징점 매칭부(216)는 상기 제1 캐시(230)에 저장된 설계도면들의 대표 특징점 중 상기 추출된 설계도면의 특징점과 가장 높은 유사도를 갖는 설계도면을 선택하여 해당 설계도면을 인식하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템
3 3
제 1 항에 있어서, 상기 설계도면 인식부(218)는 인식된 해당 설계도면에 대응되는 3D 모델이 상기 제2 캐시(240)에 없는 경우, 상기 설계도면 관리서버(100)에 해당 3D 모델을 요청하여 수신하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템
4 4
제 1 항에 있어서, 상기 설계도면 인식 모듈(210)은 상기 특징점 매칭부(216)에 의해 매칭된 설계도면이 제1 캐시(230)에 없는 경우 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하며,상기 설계도면 관리서버(100)는, 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하고, 매칭된 설계도면이 있는 경우 해당 설계도면의 특징점과 해당 설계도면에 대응되는 3D 모델을 상기 스마트폰(200)에 전송하는 특징점 매칭 모듈(130)을 더 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템
5 5
스마트폰(200)으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 관한 것으로써, a) 상기 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하는 단계;b) 상기 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 단계;c) 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 단계;d) 제1 캐시(230)에 저장된 설계도면들의 대표 특징점과 상기 추출된 설계도면의 특징점을 매칭하는 단계;e) 매칭된 설계도면이 있는 경우, 해당 설계도면에 대응되는 3D 모델을 로딩하는 단계;f) 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하고, 이를 이용하여 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 단계;g) 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하는 단계; 및,h) 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부에 표시하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법
6 6
제 5 항에 있어서, 상기 e) 단계에서, 해당 설계도면에 대응되는 3D 모델이 제2 캐시(240)에 없는 경우, 설계도면 관리서버(100)에 해당 3D 모델을 요청하여 수신하고 이를 로딩하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법
7 7
제 5 항에 있어서, 상기 d) 단계에서 매칭된 설계도면이 없는 경우, i) 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하는 단계;j) 설계도면 관리서버(100)가 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하는 단계;k) 매칭된 설계도면이 있는 경우, 설계도면 관리서버(100)가 해당 설계도면의 특징점과, 해당 설계도면에 대응되는 3D 모델을 스마트폰(200)에 전송하는 단계; 및, l) 상기 수신된 해당 설계도면의 특징점과 3D 모델을 수신하여 상기 e) 단계를 수행하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법
8 8
스마트폰(200)으로 설계도면을 인식하고 3차원 모델을 설계도면 위에 증강시켜 스마트폰에 나타내도록 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법에 관한 것으로써, a') 상기 스마트폰의 카메라(201)로부터 설계도면의 영상을 획득하는 단계;b') 상기 획득한 설계도면의 영상에서 외곽선과 모서리점을 추출하고, 사각형의 영역을 계산하여 ROI(Region Of Interest) 영역을 설정하는 단계;c') 상기 ROI 영역에 대해서 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 설계도면의 특징점을 추출하는 단계;d') 상기 추출된 설계도면의 특징점 데이터를 설계도면 관리서버(100)에 전송하는 단계;e') 설계도면 관리서버(100)가 상기 수신된 특징점 데이터를 데이터베이스 모듈(120)에 저장된 설계도면들의 대표 특징점과 매칭하는 단계;f') 매칭된 설계도면이 있는 경우, 설계도면 관리서버(100)가 해당 설계도면의 특징점과, 해당 설계도면에 대응되는 3D 모델을 스마트폰(200)에 전송하는 단계;g') 상기 해당 설계도면의 특징점과 3D 모델을 수신하여, 해당 설계도면에 대응되는 3D 모델을 로딩하는 단계;h') 상기 카메라(201)로부터 입력되는 상기 설계도면 영상에 대해 상기 설정된 ROI 영역에서 사각형을 이루는 네 점의 좌표를 추출하여, 카메라(201)와 인식된 설계도면상 상기 네 점의 좌표와의 거리와, 상기 인식된 설계도면의 평면을 기준으로 상기 카메라(201)와 상기 추출된 네 점의 좌표와의 사이 각도를 계산하는 단계;i') 계산된 거리 및 각도에 대응하여 3D 모델을 기하변환(Geometric Transformation) 하는 단계; 및,j') 기하변환된 3D 모델을 상기 카메라로부터 입력되는 영상에 정합하여 스마트폰의 디스플레이부에 표시하는 단계;를 포함하는 것을 특징으로 하는 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 순천대학교 산학협력단 기초원천연구개발지원사업 증강현실 기반의 선박 설계도면 시각화 시스템 개발