맞춤기술찾기

이전대상기술

3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법

  • 기술번호 : KST2022008990
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성을 수행하는 기술에 대한 것으로, 단일 센서만으로 나무 지도를 작성하여 낮을 신뢰도를 보이는 종래의 기법에서 벗어나, 다양한 센서와 딥러닝 모델을 통해 정밀하고 신뢰도 높은 도시 수목 지도를 형성할 수 있게 된다.
Int. CL G06T 17/05 (2011.01.01) G06T 7/70 (2017.01.01) G06T 7/11 (2017.01.01) G06T 3/40 (2006.01.01) G06K 9/62 (2022.01.01) G01S 19/13 (2010.01.01) G06N 20/00 (2019.01.01)
CPC G06T 17/05(2013.01) G06T 7/70(2013.01) G06T 7/11(2013.01) G06T 3/40(2013.01) G06K 9/6267(2013.01) G01S 19/13(2013.01) G06N 20/00(2013.01) G06T 2207/10032(2013.01) G06T 2207/20081(2013.01)
출원번호/일자 1020220030348 (2022.03.10)
출원인 서울대학교산학협력단
등록번호/일자 10-2416714-0000 (2022.06.30)
공개번호/일자
공고번호/일자 (20220705) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2022.03.10)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 류영렬 서울특별시 강남구
2 권령섭 서울특별시 강남구
3 양태강 서울특별시 용산구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 신연철 대한민국 서울특별시 강남구 테헤란로**길 *(역삼동) 조이타워 *층 ***호(대신특허사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서울대학교 산학협력단 서울특별시 관악구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2022.03.10 수리 (Accepted) 1-1-2022-0262294-25
2 보정요구서
Request for Amendment
2022.03.23 발송처리완료 (Completion of Transmission) 1-5-2022-0045158-38
3 [우선심사신청]심사청구서·우선심사신청서
2022.03.29 수리 (Accepted) 1-1-2022-0336932-15
4 특허고객번호 정보변경(경정)신고서·정정신고서
2022.04.04 수리 (Accepted) 4-1-2022-5079741-71
5 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2022.04.12 수리 (Accepted) 1-1-2022-0387515-74
6 보정요구서
Request for Amendment
2022.04.20 발송처리완료 (Completion of Transmission) 1-5-2022-0060368-16
7 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2022.04.21 수리 (Accepted) 1-1-2022-0426636-49
8 의견제출통지서
Notification of reason for refusal
2022.05.20 발송처리완료 (Completion of Transmission) 9-5-2022-0373065-04
9 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2022.05.24 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2022-0546209-48
10 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2022.05.24 수리 (Accepted) 1-1-2022-0546214-77
11 등록결정서
Decision to grant
2022.06.23 발송처리완료 (Completion of Transmission) 9-5-2022-0460372-24
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
항공 이미지 데이터를 입수하여, 제1딥러닝 모델을 적용하여 항공 이미지 데이터의 그림자를 제거하고, 나무 이미지 결손 부분에 대한 보강처리를 수행하며,보강처리된 상기 항공 이미지 데이터에 대하여 제2 딥러닝 모델을 적용하여 전체 나무 그루수를 도출하고, 위치 정보를 매칭하는 베이스 맵 작성모듈(A);시민데이터를 제공하는 다수의 단말에서 수집되는 수피를 포함하는 원본 이미지를 전송받아 저장하는 이미지 제공모듈(100)에서 제공되는 이미지에 대하여, 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 제3딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제3결과값을 도출하는 이미지 분류 모듈(200)과,상기 제3결과값을 적용하여 제4딥러닝을 수행하여 수종판별을 수행하는 제4결과값을 도출하는 수종판별모듈(300)을 포함하는, 시민데이터 적용 판별모듈(B1)과,차량에서 촬영된 가로수 이미지를 포함하는 이미지 데이터에 대하여, 제5딥러링을 통해 차량으로부터 가로수까지의 거리를 예측하고, 차량 좌우의 가로수 수종정보를 포함하는 제5결과값을 도출하고,제6딥러닝을 통해 이미지 프로세스를 적용하여 제5결과값에 포함되는 가로수 수종정보를 포함하는 제6결과값을 도출하는, 차량데이터 적용 판별 모듈(B2)를 포함하는, 나무 수종정보 판별모듈(B);상기 나무 수종정보 판별모듈(B)에서 도출되는 제4결과값 및 제6결과값에 포함되는 수종정보를 상기 베이스 맵 작성모듈(A)의 위치정보를 맵핑하여 나무 지도를 형성하는 나무수종정보 맵핑모듈(C);을 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
2 2
청구항 1에 있어서,상기 베이스 맵 작성모듈(A)은,상기 항공 이미지 데이터를 수집하여 입력하는 이미지 데이터 입력부(10);상기 항공 이미지 데이터에 제1딥러닝 모델을 적용하여 항공 이미지 데이터의 그림자를 제거하고, 나무 이미지 결손 부분에 대한 보강처리를 수행하는, 제1딥러닝 모델부(20);보강처리된 상기 항공 이미지 데이터에 대하여 제2 딥러닝 모델을 적용하여 전체 나무 그루수를 도출하고 제2딥러닝 모델부(30);상기 항공 이미지 데이터에서 나무를 탐지하는 바운딩 박스에 대한 GPS 정보의 상관관계 분석을 통해 전체 나무의 실제 GPS좌표를 매칭하는 베이스맵 도출부(40);를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
3 3
청구항 2에 있어서,상기 제1딥러닝 모델부(20)는, Pix2Pix 딥러닝 모델을 적용하고,상기 제2딥러닝 모델부(30)는, DeepForest 딥러닝 모델을 적용하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
4 4
청구항 3에 있어서,상기 시민데이터 적용 판별모듈(B1)의 상기 이미지 분류 모듈(200)은,상기 이미지 제공모듈(100)에서 제공되는 원본 이미지를 전송받아 저장 분류하는 이미지 취득부(210);상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하는 이미지 분할부(220);상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하는 이미지 변환부(230);상기 이미지 변환부(230)에서 제공되는 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하는 제3딥러닝 모델부(240);상기 제3딥러닝 모델부(240)에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제3결과값으로 저장하는 제3결과값 저장부(250);를 포함하는, 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
5 5
청구항 4에 있어서,상기 시민데이터 적용 판별모듈(B1)의 상기 수종 판별 모듈(300)은,상기 제3결과값 저장부(250)에서 제공되는 배경이 제거된 수피만을 포함하는 이미지인 제3결과값을 학습데이터로, 제3결과값에 대응되는 수종을 판별하여 학습하는 제4딥러닝을 수행하는 제4딥러닝 모델부(320);상기 제4딥러닝 모델부(320)의 학습 결과값을 저장하는 제4결과값 저장부(330);상기 제4결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 수종판별부(340);를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
6 6
청구항 5에 있어서,상기 제3딥러닝 모델부(240)에서 적용하는 딥러닝 모델은 U-Net를 적용하며,상기 제4딥러닝 모델부(320)에서 적용하는 딥러닝 모델은 Xception을 적용하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
7 7
청구항 6에 있어서,상기 차량데이터 적용 판별모듈(B2)은,차량에서 촬영된 가로수 이미지를 포함하는 가로수 이미지 데이터를 입력하는 제2이미지 취득부(410);상기 가로수 이미지 데이터에 대하여, 제5딥러링을 통해 차량으로부터 가로수까지의 차선 개수를 바탕으로 하여 거리를 예측하고, 차량 좌우의 가로수 수종정보를 포함하는 제5결과값을 도출하는 제5딥러닝 모델부(420);상기 제5결과값에 대하여 제6딥러닝을 통해 이미지 프로세스를 적용하여 제5결과값에 포함되는 가로수 수종정보를 포함하는 제6결과값을 도출하는 제6딥러닝 모델부(440);를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템
8 8
청구항 7에 따른 나무 지도 작성 시스템을 이용하여 도시 규모 나무 지도를 작성하는 방법에 있어서,(a) 베이스 맵 작성모듈(A)에서, 항공 이미지 데이터를 입수하여, 제1딥러닝 모델을 적용하여 항공 이미지 데이터의 그림자를 제거하고, 나무 이미지 결손 부분에 대한 보강처리를 수행하며,보강처리된 상기 항공 이미지 데이터에 대하여 제2 딥러닝 모델을 적용하여 전체 나무 그루수를 도출하고, 위치 정보를 매칭하는 단계;(b) 시민데이터 적용 판별모듈(B1)에서, 이미지 분류 모듈(200)을 통해 시민데이터를 제공하는 다수의 단말에서 수집되는 수피를 포함하는 원본 이미지에 대하여, 이미지 분할 처리 및 변환을 수행하여 학습데이터를 형성하고, 상기 학습데이터를 바탕으로 제3딥러닝을 수행하여 상기 원본 이미지에서 수피 이외의 배경 이미지를 제거한 제3결과값을 도출하고,수종판별모듈(300)에서, 상기 제3결과값을 적용하여 제4딥러닝을 수행하여 수종판별을 수행하는 제4결과값을 도출하는 단계;(c) 차량데이터 적용 판별모듈(B2)에서, 차량에서 촬영된 가로수 이미지를 포함하는 이미지 데이터에 대하여, 제5딥러링을 통해 차량으로부터 가로수까지의 거리를 예측하고, 차량 좌우의 가로수 수종정보를 포함하는 제5결과값을 도출하고,제6딥러닝을 통해 이미지 프로세스를 적용하여 제5결과값에 포함되는 가로수 수종정보를 포함하는 제6결과값을 도출하는 단계;(d) 나무수종정보 맵핑모듈(C)에서 상기 제4결과값 및 제6결과값에 포함되는 수종정보를 상기 베이스 맵 작성모듈(A)의 위치정보를 맵핑하여 나무 지도를 형성하는 단계;를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 방법
9 9
청구항 8에 있어서,상기 (a)단계는, 상기 베이스 맵 작성모듈(A)에서,a1) 상기 항공 이미지 데이터를 수집하여 입력하고,a2) 상기 항공 이미지 데이터에 제1딥러닝 모델인 Pix2Pix 딥러닝 모델을 적용하여 항공 이미지 데이터의 그림자를 제거하고, 나무 이미지 결손 부분에 대한 보강처리를 수행하며,a3) 보강처리된 상기 항공 이미지 데이터에 대하여 제2 딥러닝 모델인 DeepForest 딥러닝 모델을 적용하여 전체 나무 그루수를 도출하고,a4) 상기 항공 이미지 데이터에서 나무를 탐지하는 바운딩 박스에 대한 GPS 정보의 상관관계 분석을 통해 전체 나무의 실제 GPS좌표를 매칭하는 단계를 포함하여 구성되는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 방법
10 10
청구항 9에 있어서,상기 (b)단계는, 상기 시민데이터 적용 판별모듈(B1)의 상기 이미지 분류 모듈(200)에서 수행되며,b1) 이미지 제공모듈(100)에서 제공되는 원본 이미지를 전송받아 저장 분류하고,b2) 이미지 분할부(220)에서, 상기 원본 이미지의 상부영역과 상기 상부영역과 교차영역을 구비하는 하부영역을 분할하여 분할이미지를 형성하고,b3) 이미지 변환부(230)에서 상기 분할이미지에 대한 색조 변환 및 사이즈 변환을 수행하며,b4) 제3딥러닝 모델부(240)에서 U-Net를 적용하여, 상기 이미지 변환부(230)에서 제공되는 분할이미지에 대하여, 수피부분과 배경부분을 라벨링한 데이터를 형성하고, 라벨링한 데이터를 바탕으로 배경제거에 대한 학습을 수행하고,b5) 상기 제3딥러닝 모델부(240)에서 수행된 학습결과 도출되는 배경 제거 분할이미지를 제3결과값으로 저장하고,b6) 배경이 제거된 수피만을 포함하는 이미지인 상기 제3결과값을 학습데이터로, 제3결과값에 대응되는 수종을 판별하여 학습하는 제4딥러닝 모델부에서 Xception을 적용하는 제4딥러닝을 수행하여 제4결과값을 도출하고,b7) 상기 제4결과값을 기초로, 새로운 수피를 포함하는 수종 이미지에 대한 판별을 수행하는 단계;를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 방법
11 11
청구항 10에 있어서,상기 (c) 단계는, 상기 차량데이터 적용 판별모듈(B2)에서 수행되되,c1) 제2이미지 취득부(410)에서 차량에서 촬영된 가로수 이미지를 포함하는 가로수 이미지 데이터를 입력하고,c2) 제5딥러닝 모델부(420)에서 LaneNet 모델을 적용하여 상기 가로수 이미지 데이터에 대하여, 제5딥러링을 통해 차량으로부터 가로수까지의 차선 개수를 바탕으로 하여 거리를 예측하고, 차량 좌우의 가로수 수종정보를 포함하는 제5결과값을 도출하는 ;c3) 제6딥러닝 모델부(440)에서 YOLOv3 모델을 적용하여 상기 제5결과값에 대하여 제6딥러닝을 통해 이미지 프로세스를 적용하여 제5결과값에 포함되는 가로수 수종정보를 포함하는 제6결과값을 도출하는 단계;를 포함하는,3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 방법
12 12
청구항 8에 따른 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 방법을 수행하는 프로그램이 수록된 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 환경부 서울대학교 산학협력단 도시생태계 건강성 증진 기술개발사업 도시 생태계 구조 및 기능관리 기술