맞춤기술찾기

이전대상기술

영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법

  • 기술번호 : KST2019018857
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법에 관한 것이다. 본 발명의 건설 현장 상황 인지 시스템은 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출 및 탐지하고, 건설 현장에서의 건설 장비에 대한 작업 상태 정보와 이벤트 정보를 판별 및 분석하여 토공 작업 시간을 산출한다. 이를 위해 건설 현장 상황 인지 시스템은 카메라부와 건설 현장 관리 서버를 포함한다. 카메라부와 건설 현장 관리 서버는 통신망을 통해 상호 연결되어 데이터 통신이 이루어진다. 본 발명에 의하면, 영상 기반으로 건설 현장에서의 건설 장비에 대한 작업 상황을 인지할 수 있고, 이를 통해 건설 현장 토공 작업에서의 건설 장비 조합별로 생산성을 자동으로 분석할 수 있으므로, 토공 생산성 분석을 위한 인력 및 비용을 절감할 수 있다.
Int. CL G06Q 50/08 (2012.01.01) H04N 5/232 (2006.01.01) G06Q 10/10 (2012.01.01)
CPC G06Q 50/08(2013.01) G06Q 50/08(2013.01) G06Q 50/08(2013.01)
출원번호/일자 1020180033927 (2018.03.23)
출원인 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2019-0111585 (2019.10.02) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.03.23)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김형관 서울특별시 서대문구
2 김홍조 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김인철 대한민국 서울특별시 서초구 반포대로**길 **, 매강빌딩*층 에이치앤에이치 H&H 국제특허법률사무소 (서초동)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.03.23 수리 (Accepted) 1-1-2018-0293475-81
2 선행기술조사의뢰서
Request for Prior Art Search
2018.08.10 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2018.10.12 수리 (Accepted) 9-1-2018-0053267-82
4 의견제출통지서
Notification of reason for refusal
2019.02.12 발송처리완료 (Completion of Transmission) 9-5-2019-0101970-59
5 [출원서등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2019.04.08 수리 (Accepted) 1-1-2019-0357561-23
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.04.11 수리 (Accepted) 1-1-2019-0370795-50
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.04.11 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-0370796-06
8 등록결정서
Decision to grant
2019.08.23 발송처리완료 (Completion of Transmission) 9-5-2019-0609556-30
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
건설 현장 상황 인지 시스템에 있어서: 건설 현장의 특정 위치에 고정, 설치되어 건설 현장 영상을 실시간으로 촬영하는 카메라부; 및 상기 카메라부로부터 촬영된 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 영상 프레임에서 건설 현장에서 토공 작업을 수행하고 있는 복수 개의 건설 장비를 검출하고, 일정 시간 동안의 전후 프레임으로부터 상기 검출된 건설 장비들 각각에 대한 작업 상태, 유휴 상태를 판별하여 상태 정보를 생성하고, 생성된 상태 정보로부터 상기 검출된 건설 장비들 각각에 대한 토공 작업이 이루어지면, 토공 작업에 대응되는 이벤트 정보를 생성하여 토공 생산성을 분석하도록 처리하는 건설 현장 관리 서버를 포함하며,상기 건설 현장 관리 서버는, 상기 카메라부로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하는 영상 수집부; 상기 영상 수집부에 의해 추출된 영상 프레임에서 건설 현장의 건설 장비들을 검출하고, 검출된 건설 장비별로 토공 작업에 따른 움직임을 실시간 탐지하는 개체 탐지부; 상기 개체 탐지부에서 탐지된 건설 장비별로 토공 작업의 작업 상태, 유휴 상태에 대한 상태 정보를 생성하는 상황 정보 분석부; 및 상기 상황 정보 분석부로부터 상태 정보를 받아서 건설 장비들 각각의 토공 작업의 시작 및 종료에 따른 이벤트 정보를 생성하는 이벤트 정보 분석부를 포함하며,상기 이벤트 정보 분석부는, 특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 유휴상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 작업상태 정보가 있는 때에는 작업시작 이벤트로 판단하여 저장하며, 특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 작업상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 유휴상태 정보가 있는 때에는 작업종료 이벤트로 판단하여 저장하는 작업상태 오류 보정과정이 추가로 구비되는 것을 특징으로 하는 건설 현장 상황 인지 시스템
2 2
삭제
3 3
청구항 1에 있어서,상기 건설 현장 관리 서버는,상기 이벤트 정보 분석부로부터 이벤트 정보를 받아서 시뮬레이션 입력값을 구성하여 건설 현장의 건설 프로세스에 대한 시뮬레이션을 처리하는 시뮬레이션 처리부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
4 4
청구항 3에 있어서,상기 건설 현장 관리 서버는,상기 시뮬레이션 처리부의 시뮬레이션 결과를 이용하여 건설 장비들의 대수와 조합을 조절하고, 조절된 건설 장비들의 조합에 대한 토공 생산성을 분석하고, 분석 결과를 제공하는 토공 생산성 분석부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
5 5
청구항 1에 있어서,상기 개체 탐지부는;건설 장비의 종류와, 적어도 건설 장비의 중심점, 건설 현장에서의 검출 좌표, 건설 장비의 출현 시간이 포함되는 위치 정보를 탐지하여 상기 상황 정보 분석부로 제공하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
6 6
청구항 5에 있어서,상기 개체 탐지부는;머신 러닝 기반의 개체 탐지 모델 중 기울기 히스토그램(histograms of oriented gradients) 모델과, 신경망(convolutional neural networks) 모델 중 어느 하나를 이용하여 건설 장비들 각각을 추출 및 탐지하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
7 7
청구항 5에 있어서,상기 상황 정보 분석부는;건설 장비들 각각의 중심점을 기준점으로 하여 두 대의 건설 장비들 사이의 거리를 계산하고, 계산된 거리가 설정된 임계값보다 작으면, 작업 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하고, 계산된 거리가 설정된 임계값보다 크면, 유휴 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
8 8
청구항 1에 있어서,상기 이벤트 정보 분석부는;상기 상태 정보 분석부에서 일정 시점 전후의 영상 프레임별 상태 정보를 이용하여 건설 장비들 각각에 대한 토공 작업의 시작 시점 및 종료 시점을 판별하고, 판별결과에 따른 이벤트 정보를 생성하고, 작업의 시작 시점과 종료 시점 사이에 걸린 시간을 건설 장비의 토공 작업에 대한 하나의 주기 시간으로 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
9 9
청구항 3에 있어서,상기 시뮬레이션 처리부는;건설 프로세스 시뮬레이션을 위한 입력값을 토공 작업에 대한 작업 시간들로 입력하고, 최대 가능 추정법(maximum likelihood estimation)을 이용하여 정규 분포의 파라미터로 추정하는 것을 특징으로 하는 건설 현장 상황 인지 시스템
10 10
건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법에 있어서:건설 현장의 특정 위치에 고정 설치된 카메라부를 이용하여 건설 현장 영상을 실시간으로 촬영하는 단계; 건설 현장 관리 서버가 통신망을 통해 상기 카메라부로부터 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 건설 개체를 추출 및 탐지하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체의 토공 작업에 따른 작업 상태, 유휴 상태에 대한 상태 정보를 생성 및 분석하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체에서의 토공 작업이 시작 및 종료되는지를 판별하여 이벤트 정보를 생성 및 분석하는 단계; 및 상기 건설 현장 관리 서버가 이벤트 정보에 대응하여 토공 작업 시간 확률 분포를 추정하는 단계를 포함하며, 상기 이벤트 정보를 분석하는 단계는특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 유휴상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 작업상태 정보가 있는 때에는 작업시작 이벤트로 판단하여 저장하며,특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 작업상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 유휴상태 정보가 있는 때에는 작업종료 이벤트로 판단하여 저장하는 작업상태 오류 보정과정이 추가로 구비되는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법
11 11
청구항 10에 있어서,상기 상태 정보를 분석하는 단계는;상기 건설 현장 관리 서버가 상기 카메라부로부터 수집된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고,추출된 영상 프레임에서 각각의 건설 장비에 대한 건설 개체를 검출하고,검출된 건축 개체가 굴삭기와 덤프 트럭이면, 검출된 건축 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값과 비교하고,산출된 거리가 임계값보다 작으면, 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성하고, 그리고 산출된 거리가 임계값보다 크면, 유휴 상태에 따른 상태 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법
12 12
청구항 10에 있어서,상기 이벤트 정보를 분석하는 단계는;상기 건설 현장 관리 서버가 건설 개체의 상태 정보를 판별하여 작업 시작이면, 작업 시작 시간을 기록하고, 작업 시작된 작업이 종료되면, 작업 종료 시간을 기록하고, 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하여, 건설 장비 각각에 대한 이벤트 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법
13 13
청구항 10 내지 청구항 12 중 어느 한 항에 있어서,상기 건설 현장 상황 인지 방법은,상기 건설 현장 관리 서버가 추정된 확률 분포의 파라미터를 이용하여 건설 프로세스를 시뮬레이션하는 단계;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법
14 14
청구항 13에 기재된 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법을 이용하는 토공 생산성 분석 방법에 있어서:시뮬레이션 결과에 대응하여 건설 현장의 건설 장비의 대수 및 조합을 조절하고, 조절된 건설 장비에 대한 토공 작업 생산성을 분석하는 단계;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 국토교통부 연세대학교 산학협력단 국토교통기술연구개발 [국토부/주관] 도로망 유지관리 정보 생성을 위한 일반 차량 탑재 모바일 기기 기반 도로 균열 검출 및 도로 미래 수명 예측 기술(1/2)