맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

GPU를 이용한 신호등 인식 장치 및 방법

  • 기술번호 : KST2019033987
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 실시예들은 색상 별로 복수의 이진화 맵을 생성하여 영상의 색상을 분할하고, 복수의 이진화 맵으로부터 블롭 영역을 검출하고, 블롭 영역이 신호등에 해당하는지 여부를 검증하여 블롭 영역 중에서 벌브 영역을 검출하고, 벌브 영역을 대상으로 학습하여 벌브 영역을 신호등의 신호에 대응하는 복수의 클래스로 분류하고, 분류된 벌브 영역 중에서 하나의 신호를 선택함으로써, 차량의 교통 신호를 실시간으로 정확하게 인식할 수 있는 신호등 인식 장치 및 방법을 제공한다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/46 (2006.01.01) G06K 9/38 (2006.01.01) G06K 9/62 (2006.01.01)
CPC G06K 9/00825(2013.01) G06K 9/00825(2013.01) G06K 9/00825(2013.01) G06K 9/00825(2013.01)
출원번호/일자 1020170022661 (2017.02.21)
출원인 연세대학교 산학협력단
등록번호/일자 10-1877809-0000 (2018.07.06)
공개번호/일자
공고번호/일자 (20180712) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.02.21)
심사청구항수 18

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 변혜란 대한민국 서울특별시 서대문구
2 고승현 대한민국 서울특별시 서대문구
3 임광용 대한민국 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2017.02.21 수리 (Accepted) 1-1-2017-0176506-18
2 선행기술조사의뢰서
Request for Prior Art Search		 2017.10.13 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search		 2017.12.12 수리 (Accepted) 9-1-2017-0044292-78
4 의견제출통지서
Notification of reason for refusal		 2018.01.03 발송처리완료 (Completion of Transmission) 9-5-2018-0009467-23
5 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2018.02.20 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0174533-28
6 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2018.02.20 수리 (Accepted) 1-1-2018-0174532-83
7 등록결정서
Decision to grant		 2018.07.02 발송처리완료 (Completion of Transmission) 9-5-2018-0451015-12
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
컴퓨팅 디바이스에 의한 신호등 인식 방법에 있어서,영상으로부터 기 설정된 색상 별로 복수의 이진화 맵을 생성하여 상기 영상의 색상을 분할하는 단계;상기 복수의 이진화 맵으로부터 하나 이상의 블롭(Blob) 영역을 검출하고, 상기 블롭 영역이 신호등에 해당하는지 여부를 검증하여 상기 블롭 영역 중에서 벌브(Bulb) 영역을 검출하는 단계;상기 벌브 영역을 대상으로 학습하여 상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계; 및상기 분류된 벌브 영역 중에서 하나의 신호를 선택하여 차량의 교통 신호로 인식하는 단계를 포함하며,상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계는, 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵을 생성하고, 상기 하나 이상의 레이어의 노드들은 네트워크로 연결되며, 상기 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 상기 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행하여, 적색, 황색, 녹색, 및 네거티브로 분류하는 벌브 영역 분류 모델을 생성하고 상기 벌브 영역 분류 모델의 파라미터를 학습하는 것을 특징으로 하는 신호등 인식 방법
2 2
제1항에 있어서,(i) 상기 영상의 색상을 분할하는 단계 및 (ii) 상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계는 복수의 명령어를 동시에 병렬 처리하는 GPU(Graphics Processing Unit)에 의해 동작을 수행하며,(i) 상기 벌브 영역을 검출하는 단계 및 (ii) 상기 하나의 신호를 선택하여 상기 차량의 교통 신호로 인식하는 단계는 상기 복수의 명령어가 입력된 순서대로 직렬 처리하는 CPU(Central Processing Unit)에 의해 동작을 수행하는 것을 특징으로 하는 신호등 인식 방법
3 3
제1항에 있어서,상기 복수의 이진화 맵은 적색 이진화 맵, 황색 이진화 맵, 및 녹색 이진화 맵으로 구분되며,상기 색상 별로 복수의 이진화 맵을 생성하는 것은, 상기 영상의 색상 및 상기 신호등의 색상 간에 비교하여 상기 이진화 맵을 생성하며, 상기 신호등의 색상은 복수의 신호등 이미지에 관한 K-평균(K-Means) 결과에 기반하여 설정되는 것을 특징으로 하는 신호등 인식 방법
4 4
제1항에 있어서,상기 색상을 분할하는 단계는, 상기 생성된 복수의 이진화 맵에 대하여 모폴로지(Morphology)를 개방하며, 상기 모폴로지를 개방하는 것은 침식(Erosion) 과정을 생략하고 팽창(Dilation) 과정을 수행하는 것을 특징으로 하는 신호등 인식 방법
5 5
제1항에 있어서,상기 색상을 분할하는 단계는, 상기 생성된 복수의 이진화 맵 중에서 적색 이진화 맵 및 황색 이진화 맵을 합성하여 적황색 이진화 맵을 생성하며,상기 이진화 맵으로부터 하나 이상의 블롭 영역을 검출하는 것은,상기 적황색 이진화 맵으로부터 적색 블록 영역을 검출하는 것을 특징으로 하는 신호등 인식 방법
6 6
제1항에 있어서,상기 블롭 영역을 검출하는 것은,상기 영상에서 상기 색상 별로 상기 블롭 영역을 검출하기 위하여, 상기 복수의 이진화 맵에서의 상기 블롭 영역에 라벨링을 수행하는 것을 특징으로 하는 신호등 인식 방법
7 7
제1항에 있어서,상기 벌브 영역을 검출하는 단계는,상기 신호등의 벌브 중에서 점등된 하나의 색상 벌브로부터 기 설정된 방향 및 거리에 위치한 멸등된 다른 색상의 벌브를 확인하며, 상기 블롭 영역의 참조 지점을 기준으로 기 설정된 다각 영역의 평균 명도값에 기반하여, 상기 벌브 영역을 검출하는 것을 특징으로 하는 신호등 인식 방법
8 8
삭제
9 9
제1항에 있어서,상기 하나의 신호를 선택하여 상기 차량의 교통 신호로 인식하는 단계는,상기 분류된 벌브 영역 중에서 반지름이 가장 큰 벌브가 상기 영상의 현재 프레임의 신호라고 판단하는 것을 특징으로 하는 신호등 인식 방법
10 10
영상으로부터 기 설정된 색상 별로 복수의 이진화 맵을 생성하여 상기 영상의 색상을 분할하는 색상 분할부;상기 복수의 이진화 맵으로부터 하나 이상의 블롭(Blob) 영역을 검출하고, 상기 블롭 영역이 신호등에 해당하는지 여부를 검증하여 상기 블롭 영역 중에서 벌브(Bulb) 영역을 검출하는 신호등 검출부;상기 벌브 영역을 대상으로 학습하여 상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 신호 분류부; 및상기 분류된 벌브 영역 중에서 하나의 신호를 선택하여 차량의 교통 신호로 인식하는 신호 인식부를 포함하며,상기 신호 분류부는, 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵을 생성하고, 상기 하나 이상의 레이어의 노드들은 네트워크로 연결되며, 상기 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 상기 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행하여, 적색, 황색, 녹색, 및 네거티브로 분류하는 벌브 영역 분류 모델을 생성하고 상기 벌브 영역 분류 모델의 파라미터를 학습하는 것을 특징으로 하는 신호등 인식 장치
11 11
제10항에 있어서,(i) 색상 분할부 및 (ii) 신호 분류부는 복수의 명령어를 동시에 병렬 처리하는 GPU(Graphics Processing Unit)에 의해 동작을 수행하며,(i) 신호등 검출부 및 (ii) 신호 인식부는 상기 복수의 명령어가 입력된 순서대로 직렬 처리하는 CPU(Central Processing Unit)에 의해 동작을 수행하는 것을 특징으로 하는 신호등 인식 장치
12 12
제10항에 있어서,상기 복수의 이진화 맵은 적색 이진화 맵, 황색 이진화 맵, 및 녹색 이진화 맵으로 구분되며,상기 색상 분할부는, 상기 영상의 색상 및 상기 신호등의 색상 간에 비교하여 상기 이진화 맵을 생성하며, 상기 신호등의 색상은 복수의 신호등 이미지에 관한 K-평균(K-Means) 결과에 기반하여 설정되는 것을 특징으로 하는 신호등 인식 장치
13 13
제10항에 있어서,상기 색상 분할부는,상기 생성된 복수의 이진화 맵에 대하여 모폴로지(Morphology)를 개방하며, 상기 모폴로지를 개방하는 것은 침식(Erosion) 과정을 생략하고 팽창(Dilation) 과정을 수행하는 것을 특징으로 하는 신호등 인식 장치
14 14
제10항에 있어서,상기 색상 분할부는, 상기 생성된 복수의 이진화 맵 중에서 적색 이진화 맵 및 황색 이진화 맵을 합성하여 적황색 이진화 맵을 생성하며,상기 신호등 검출부는, 상기 적황색 이진화 맵으로부터 적색 블록 영역을 검출하는 것을 특징으로 하는 신호등 인식 장치
15 15
제10항에 있어서,상기 신호등 검출부는,상기 영상에서 상기 색상 별로 상기 블롭 영역을 검출하기 위하여, 상기 복수의 이진화 맵에서의 상기 블롭 영역에 라벨링을 수행하는 것을 특징으로 하는 신호등 인식 장치
16 16
제10항에 있어서,상기 신호등 검출부는,상기 신호등의 벌브 중에서 점등된 하나의 색상 벌브로부터 기 설정된 방향 및 거리에 위치한 멸등된 다른 색상의 벌브를 확인하며, 상기 블롭 영역의 참조 지점을 기준으로 기 설정된 다각 영역의 평균 명도값에 기반하여, 상기 벌브 영역을 검출하는 것을 특징으로 하는 신호등 인식 장치
17 17
삭제
18 18
제10항에 있어서,상기 신호 인식부는,상기 분류된 벌브 영역 중에서 반지름이 가장 큰 벌브가 상기 영상의 현재 프레임의 신호라고 판단하는 것을 특징으로 하는 신호등 인식 장치
19 19
프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 신호등 인식을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에,영상으로부터 기 설정된 색상 별로 복수의 이진화 맵을 생성하여 상기 영상의 색상을 분할하는 단계;상기 복수의 이진화 맵으로부터 하나 이상의 블롭(Blob) 영역을 검출하고, 상기 블롭 영역이 신호등에 해당하는지 여부를 검증하여 상기 블롭 영역 중에서 벌브(Bulb) 영역을 검출하는 단계;상기 벌브 영역을 대상으로 학습하여 상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계; 및상기 분류된 벌브 영역 중에서 하나의 신호를 선택하여 차량의 교통 신호로 인식하는 단계를 포함한 동작들을 수행하며,상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계는, 하나 이상의 레이어에서 컨볼루션 연산자를 통해 특징을 추출하여 특징 맵을 생성하고, 상기 하나 이상의 레이어의 노드들은 네트워크로 연결되며, 상기 추출한 특징을 다른 레이어에 전달하고, 서브샘플링을 통해 상기 추출한 특징을 통합하여 공간적 차원을 축소시키는 과정을 수행하여, 적색, 황색, 녹색, 및 네거티브로 분류하는 벌브 영역 분류 모델을 생성하고 상기 벌브 영역 분류 모델의 파라미터를 학습하는 것을 특징으로 하는 컴퓨터 프로그램
20 20
제19항에 있어서,(i) 상기 영상의 색상을 분할하는 단계 및 (ii) 상기 벌브 영역을 상기 신호등의 신호에 대응하는 복수의 클래스로 분류하는 단계는 복수의 명령어를 동시에 병렬 처리하는 GPU(Graphics Processing Unit)에 의해 동작을 수행하며,(i) 상기 벌브 영역을 검출하는 단계 및 (ii) 상기 하나의 신호를 선택하여 상기 차량의 교통 신호로 인식하는 단계는 상기 복수의 명령어가 입력된 순서대로 직렬 처리하는 CPU(Central Processing Unit)에 의해 동작을 수행하는 것을 특징으로 하는 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 고려대학교 산학협력단 정보통신방송연구개발사업 Deep Learning 기반의 보행자 안전 지원 스마트카 비전 기술의 개발