맞춤기술찾기

이전대상기술

스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치

  • 기술번호 : KST2022023305
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법 및 그 장치에 관한 것으로, (a) 실내공간 데이터 정교화모듈이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계와; (b) 스마트폰 카메라가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계와; (c) 시맨틱 정보 추출모듈이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계 및, (d) 실내 POI 데이터 업데이트모듈이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계로 이루어짐으로써, 이러한 POI 데이터의 속성의 업데이트는 범용적이고 실용화에 가까우며 추가적인 장비 설치가 필요없어 경제적인 효과가 있고, 실내공간 데이터 상의 폴리곤이 실제로는 여러가지 성격의 다양한 공간을 포함하는 경우 실내공간 데이터를 정교화할 수 있다.
Int. CL G06K 9/00 (2022.01.01) G06N 5/02 (2006.01.01)
CPC G06V 20/10(2013.01) G06N 3/08(2013.01) G06N 5/02(2013.01) G06T 2207/20084(2013.01)
출원번호/일자 1020210050129 (2021.04.16)
출원인 서울대학교산학협력단
등록번호/일자
공개번호/일자 10-2022-0143517 (2022.10.25) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.04.16)
심사청구항수 7

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 권선 서울특별시 관악구
2 유기윤 서울특별시 서초구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 손태원 대한민국 서울특별시 서초구 효령로 ***, *층 ***호 (서초동, 대호빌딩)(파코국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.04.16 수리 (Accepted) 1-1-2021-0449368-56
2 특허고객번호 정보변경(경정)신고서·정정신고서
2021.07.29 수리 (Accepted) 4-1-2021-5205564-29
3 특허고객번호 정보변경(경정)신고서·정정신고서
2022.04.04 수리 (Accepted) 4-1-2022-5079741-71
4 특허고객번호 정보변경(경정)신고서·정정신고서
2022.08.11 수리 (Accepted) 4-1-2022-5189083-38
5 의견제출통지서
Notification of reason for refusal
2022.08.23 발송처리완료 (Completion of Transmission) 9-5-2022-0634749-14
6 특허고객번호 정보변경(경정)신고서·정정신고서
2022.10.07 수리 (Accepted) 4-1-2022-5235636-01
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2022.10.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2022-1107668-85
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2022.10.20 수리 (Accepted) 1-1-2022-1107669-20
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
(a) 실내공간 데이터 정교화모듈(11)이 위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 단계(S10)와;(b) 스마트폰 카메라(20)가 실내장면 사진을 취득하고 해당 사진이 촬영된 위치를 AR 기반으로 추정하는 단계(S20)와;(c) 시맨틱 정보 추출모듈(12)이 상기 실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 단계(S30) 및,(d) 실내 POI 데이터 업데이트모듈(13)이 상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 단계(S40)로 이루어지는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
2 2
제 1 항에 있어서,상기 실내공간 데이터와 실내장면 사진의 매칭 기준은 실내공간 데이터의 위치정보와 AR 기반으로 추정한 실내장면 사진이 촬영된 위치인 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
3 3
제 1 항에 있어서,상기 CNN을 사전 트레이닝하기 위한 데이터셋은 Places 365 데이터셋 또는 다수의 사용자로부터 스마트폰 카메라를 통해 얻은 대량의 실내장면 사진인 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
4 4
제 3 항에 있어서,상기 데이터셋의 시맨틱 카테고리를 실내공간 데이터 코드 리스트에 의한 POI명과 매칭하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
5 5
제 1 항에 있어서,실내 POI는 실내공간에서 특정 위치에 있는 장소, 서비스, 시설 또는 이벤트를 포함하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
6 6
제 1 항에 있어서,상기 단계(a)에서 실내공간 데이터의 정교화는,(a1) 공간구문분석을 통해 실내공간에서 통합도 3단계 지표가 가장 높은 공간을 오픈 스페이스로서 탐지하는 단계와;(a2) 상기 탐지된 오픈 스페이스를 분할하여 다수의 폴리곤을 생성하기 위해 벽체를 연장하여 파티션을 얻는 S-파티셔닝을 수행하는 단계와;(a3) 다시 공간구문분석을 통해 상기 다수의 폴리곤 중에서 통합도 3단계 지표값이 상위 30%로 탐지된 폴리곤 공간은 사람들의 통행이 필수적이거나 통행이 많이 일어나는 공간(복도 또는 로비)이므로 병합하여 속성을 부여하는 단계, 및(a4) 병합되지 않은 나머지 분할된 폴리곤은 null 값을 갖는 POI를 생성하는 단계로 이루어지되,병합되지 않은 나머지 분할된 폴리곤에는 상기 단계(c)에서 실내장면 사진으로부터 추출한 시맨틱 정보를 부여하고 상기 단계(d)에서 실내 POI 데이터를 추가 구축하게 되는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
7 7
제 6 항에 있어서,상기 통합도 3단계 지표(, 한공간에서 다른 공간을 도달하기 위해 통과해야 하는 최소 공간의 개수가 3개인 경우)는 다음의 수학식, (여기서, , , , dij는 임의의 두 공간 i와 j사이의 최단 거리, 는 전체 공간심도, MDi는 공간평균심도, n은 공간의 개수, k는 i공간에 직접 연결된 공간의 수)을 이용하는 것을 특징으로 하는, 스마트폰 카메라를 이용한 CNN과 AR기반의 공간 속성 탐지 방법
8 8
위치정보를 포함하고 있는 실내공간 데이터를 정교화하는 실내공간 데이터 정교화모듈(11)과,실내장면 사진을 입력 데이터로 하여 합성곱신경망(CNN)을 통해 상기 실내장면 사진의 시맨틱 정보(POI명 포함)를 추출하는 시맨틱 정보 추출모듈(12), 및상기 정교화한 실내공간 데이터에 상기 시맨틱 정보를 위치 기준 매칭하여 실내 POI 데이터의 속성을 업데이트하고 추가 구축하는 실내 POI 데이터 업데이트모듈(13)을 포함하는 공간 속성 탐지 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 국토교통부 서울대학교산학협력단 국토공간정보연구사업(R&D) 저비용, 고효율 실내공간정보 구축 및 갱신 핵심기술개발