맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템(Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing)

  • 기술번호 : KST2016016714
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 다양한 건설현장의 특성을 고려하여 건설현장에 존재하는 중장비와 근로자의 이미지 특성을 미리 학습한 후, 실제 건설현장에 대한 실시간(real-time) 촬영 영상을 통해서 중장비와 근로자를 인식하고 추적하여 그 위치좌표에 대한 데이터를 형성하게 되는 방법 및 시스템에 관한 것이다.
Int. CL G06K 9/62 (2006.01) G06K 9/00 (2006.01)
CPC G06K 9/00771(2013.01) G06K 9/00771(2013.01)
출원번호/일자 1020150034767 (2015.03.13)
출원인 서울대학교산학협력단, 한양대학교 산학협력단
등록번호/일자
공개번호/일자 10-2016-0109761 (2016.09.21) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.03.13)
심사청구항수 2

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구
2 한양대학교 산학협력단 대한민국 서울특별시 성동구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 지석호 대한민국 서울특별시 관악구
2 김진우 대한민국 서울특별시 관악구
3 서종원 대한민국 서울특별시 성동구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김영철 대한민국 서울특별시 종로구 종로*길 **, **층 케이씨엘특허법률사무소 (수송동, 석탄회관빌딩)
2 이준서 대한민국 서울특별시 종로구 종로*길 ** **층 케이씨엘특허법률사무소 (수송동, 석탄회관빌딩)(법무법인케이씨엘)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 서울특별시 관악구
2 한양대학교 산학협력단 서울특별시 성동구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2015.03.13 수리 (Accepted) 1-1-2015-0245750-69
2 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2015.05.13 수리 (Accepted) 4-1-2015-5062924-01
3 선행기술조사의뢰서
Request for Prior Art Search		 2016.03.11 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search		 2016.04.28 발송처리완료 (Completion of Transmission) 9-6-2016-0125071-44
5 의견제출통지서
Notification of reason for refusal		 2016.10.04 발송처리완료 (Completion of Transmission) 9-5-2016-0710160-08
6 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2016.12.05 수리 (Accepted) 1-1-2016-1189785-11
7 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2017.01.04 수리 (Accepted) 1-1-2017-0010830-48
8 [지정기간연장]기간연장(단축, 경과구제)신청서
[Designated Period Extension] Application of Period Extension(Reduction, Progress relief)		 2017.02.06 수리 (Accepted) 1-1-2017-0121405-27
9 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2017.03.06 수리 (Accepted) 1-1-2017-0222313-16
10 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2017.03.06 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0222314-62
11 등록결정서
Decision to grant		 2017.07.28 발송처리완료 (Completion of Transmission) 9-5-2017-0530155-36
12 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.13 수리 (Accepted) 4-1-2019-5093546-10
13 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.05.23 수리 (Accepted) 4-1-2019-5101798-31
14 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.02 수리 (Accepted) 4-1-2019-5154561-59
15 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.05 수리 (Accepted) 4-1-2019-5155816-75
16 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.06 수리 (Accepted) 4-1-2019-5156285-09
17 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2020.11.25 수리 (Accepted) 4-1-2020-5265458-48
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
건설현장을 직접 실시간으로 촬영하여 학습용 영상을 수집하고, 이를 기반으로 하여 근로자와 중장비를 배경과 구분하여 인식하기 위한 분류기를 생성하게 되는 학습모듈(1); 실제 건설현장을 실시간 촬영하여 입수한 추적용 영상 속에서 근로자와 중장비를 인식하는 인식모듈(2); 및인식된 추적 대상의 실시간 위치를 파악하여, 추적 대상에 대한 위치정보를 형성하는 추적모듈(3)을 포함하여 구성되고; 학습모듈(1)은, 건설현장을 실시간으로 촬영하여 학습용 영상 및 추적용 영상을 취득하는 영상 촬영부(11); 영상 촬영부(11)에 의해 취득된 영상을 저장하여 DB를 구축하는 영상 저장부(12); 관리자의 지정 작업에 따라, 영상 저장부(12)에 저장되어 DB로 구축되어 있는 학습용 영상들로부터 추적 대상이 포함된 영역만을 추출한 학습용 영상으로부터 추적 대상이 포함된 영역만을 추출한 영상들의 모음인 포지티브 샘플(positive sample)과 추적 대상을 제외한 영역에 대한 영상들의 모음인 네가티브 샘플(negative sample)로 이루어진 학습 데이터셋(data set)을 생성하는 학습 데이터셋 생성부(13); 학습 데이터셋으로부터 각각의 영상에 대해, 추적 대상만을 구분하여 인식하기 위한 디스크립터를 형성하는 제1디스크립터 생성부(14); 및 학습 데이터셋으로부터 산출된 추적 대상의 디스크립터들이 가지는 공통점을 발견하여, 추적 대상을 그 외의 배경들과 구분할 수 있는 판단기준을 설정하고, 설정된 판단기준에 따라 촬영 영상 속의 물체가 추적 대상인지 여부를 판별하게 되는 분류기를 생성하게 되는 분류기 생성부(15)를 포함하는데; 디스크립터는, 촬영 영상에서 추적 대상이 되는 물체의 윤곽선에 존재하는 각 점에 대한 방향 벡터를 그 물체에 대한 대표 벡터로 표현한 기울기 방향성 히스토그램(HOG), 및 촬영 영상의 각 픽셀에 대하여 주변 픽셀 값과의 밝기 차이를 분포도(histogram)로 구성하여 벡터로 표현한 국부 이진 패턴(LBP)로 이루어지고; 분류기 생성부(15)에 의해 만들어지는 분류기는, 수학적으로 벡터로 표현된 추적 대상의 디스크립터들의 위치좌표 범위가 사전 설정된 범위 내에 존재하는 경우에 촬영 영상 속의 물체가 추적 대상으로 판별하고, 사전 설정된 범위를 벗어나게 되면 단순 배경으로 판별하게 되며; 인식모듈(2)은, 영상 촬영부(11)에 의해 실시간 촬영되어 전송되어 오는 건설현장의 추적용 영상을 수신하는 영상 입력부(21); 영상 입력부(21)를 통해서 수신된 추적용 영상의 모든 영상 프레임에서 추출된 추출 영역에 대한 디스크립터를 산출하되, 추출 영역의 크기를 변화시켜가면서 추출 영역의 디스크립터를 산출하는 제2디스크립터 생성부(22); 분류기 생성부(15)에 의해 만들어진 분류기를 이용하여, 제2디스크립터 생성부(22)로부터 전송되어 온 디스크립터를 기준으로 추적 대상에 해당되는지를 판단하여 추적 대상을 인식하고, 추적 대상으로 인식된 물체의 종류, 위치좌표, 크기 및 디스크립터에 대한 데이터를 형성하는 물체 인식부(23); 및추적 대상의 종류, 위치좌표, 크기 및 디스크립터에 대한 데이터를 물체 인식부(23)로부터 전송받아 저장하여 DB를 형성하는 인식 데이터 저장부(24)를 포함하고; 추적모듈(3)은, 영상 촬영부(11)에서 촬영된 추적용 영상의 연속된 영상 프레임에서, 인식된 추적 대상의 위치좌표간의 거리를 계산하고, 그 계산된 값의 역수를 유사도로 간주하여 추적 대상 간의 유사도를 계산하는 유사도 계산부(31); 유사도 계산부(31)에서 계산된 유사도가 사전 설정된 유사도 기준값 이상일 경우에는 촬영 영상의 연속된 프레임에서 인식된 물체를 동일 물체로 보아서 해당 물체의 실시간 위치좌표를 추적 대상의 위치정보로 간주하여, 해당 물체의 실시간 위치좌표를 추적 대상의 위치정보로서 전송하는 물체 추적부(32); 및물체 추적부(32)로부터 전송받은 추적 대상의 위치정보를 관리자에게 제공함과 동시에 저장하여 DB를 구축하는 추적 데이터 저장부(33)를 포함하며; 건설현장에서 근로자와 중장비를 실시간으로 인식하고 추적하여 그에 대한 위치정보를 형성하게 되는 것을 특징으로 하는 건설현장에서의 근로자와 중장비 인식-추적 시스템
2 2
삭제
3 3
삭제
4 4
삭제
5 5
삭제
6 6
사전 준비단계로서 건설현장을 촬영하여 학습용 영상을 취득하고, 취득된 학습용 영상을 이용하여 학습 과정을 수행함으로써, 건설현장에 대한 학습 데이터셋을 형성하고, 이를 이용하여 추적 대상인 근로자와 중장비를 배경과 구분할 수 있게 하는 분류기를 형성하는 분류기 생성 단계(단계 1); 실제 건설현장에 대한 실시간 영상 촬영에 의한 추적 대상의 인식 단계(단계 2); 및 인식된 추적 대상의 추적 단계(단계 3)를 포함하여 구성되는데; 분류기 생성 단계(단계 1)는, 영상 촬영부(11)에 의해 건설현장을 실시간 촬영함으로써, 추적 대상이 포함된 학습용 영상을 수집하는 단계(단계 1-1); 관리자는 학습용 영상의 각 영상프레임에 대해, 영상 속에서 추적 대상이 포함된 추적대상 영역을 지정하는 단계(단계 1-2); 추적대상 영역의 영상과 비추적대상 영역의 영상을 분리하여, 추적 대상이 포함된 영역만을 추출한 영상들의 모음인 포지티브 샘플(positive sample)과 추적 대상을 제외한 영역에 대한 영상들의 모음인 네가티브 샘플(negative sample)로 이루어진 학습 데이터셋(data set)을 생성하는 단계(단계 1-3); 학습 데이터셋으로부터 각각의 영상에 대해, 추적 대상만을 구분하여 인식하기 위한 디스크립터를 형성하되, 상기 디스크립터가, 촬영 영상에서 추적 대상이 되는 물체의 윤곽선에 존재하는 각 점에 대한 방향 벡터를 그 물체에 대한 대표 벡터로 표현한 기울기 방향성 히스토그램(HOG), 및 촬영 영상의 각 픽셀에 대하여 주변 픽셀 값과의 밝기 차이를 분포도(histogram)로 구성하여 벡터로 표현한 국부 이진 패턴(LBP)로 이루어지도록 디스크립터를 형성하게 되는 디스크립터 산출 단계(단계 1-4); 및 학습 데이터셋으로부터 산출된 추적 대상의 디스크립터들이 가지는 공통점을 발견하여, 추적 대상을 그 외의 배경들과 구분할 수 있는 판단기준을 설정하고, 설정된 판단기준에 따라 촬영 영상 속의 물체가 추적 대상인지 여부를 판별하게 되는 분류기를 생성하는 단계(단계 1-5)를 포함하며; 분류기 생성 단계(단계 1-5)에서 만들어지는 분류기는, 수학적으로 벡터로 표현된 추적 대상의 디스크립터들의 위치좌표 범위가 사전 설정된 범위 내에 존재하는 경우에 촬영 영상 속의 물체가 추적 대상으로 판별하고, 사전 설정된 범위를 벗어나게 되면 단순 배경으로 판별하게 되며; 추적 대상의 인식 단계(단계 2)는, 추적 대상에 대한 실시간 추적용 영상 수집 단계(단계 2-1); 및추적용 영상의 모든 프레임에서 추출된 추출 영역에 대한 디스크립터를 산출하되, 추출 영역의 크기를 변화시켜가면서 추출 영역의 디스크립터를 산출하고, 분류기를 이용하여, 추적용 영상에 대한 디스크립터를 기준으로 추적 대상에 해당되는지를 판단하여 추적 대상을 인식하는 추적 대상 인식 단계(단계2-2)를 포함하고;인식된 추적 대상의 추적 단계(단계 3)는, 추적용 영상의 연속된 영상프레임에서, 인식된 추적 대상의 위치좌표간의 거리를 계산하고, 그 계산된 값의 역수를 유사도로 간주하여 추적 대상 간의 유사도를 계산하는 유사도 계산 단계(단계3-1); 계산된 유사도가 사전 설정된 유사도 기준값 이상일 경우에는 촬영 영상의 연속된 프레임에서 인식된 물체를 서로 동일한 물체로 보아서 해당 물체의 실시간 위치좌표를 추적 대상의 위치정보로 간주하게 되는, 유사도 대비에 의한 추적대상 추적 단계(단계 3-2); 및해당 물체의 실시간 위치좌표를 추적 대상의 위치정보로서 관리자에게 제공하고 저장하는 단계(단계 3-3)를 포함하여; 건설현장에서 근로자와 중장비를 실시간으로 인식하고 추적하여 그에 대한 위치정보를 형성하게 되는 것을 특징으로 하는 건설현장에서의 근로자와 중장비 인식-추적 방법
7 7
삭제
8 8
삭제
9 9
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 국토교통부 한양대학교 산학협력단 건설기술연구사업 ICT를 활용한 건설장비 관제 및 스마트 시공 기술 개발