맞춤기술찾기

이전대상기술

극한 심층학습 기반 차선 검출 시스템 및 그 방법

  • 기술번호 : KST2019023774
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 CNN 알고리즘의 차선 검출 성능을 유지하면서 학습 시간은 단축할 수 있는 극한 심층학습을 통해 심층학습 영상 생성을 위한 가중치 값을 생성하고, 라인 상태가 심층학습 조건을 만족하는 차량 전방 영상에 대해서는 심층학습 영상을 통한 차량 검출처리를 수행하도록 함으로써, 보다 정확하게 차선을 검출할 수 있도록 해 주는 극한 심층학습 기반차선 검출 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 극한 심층학습 기반차선 검출 시스템 및 그 방법은 차량에 설치된 촬영 장치를 통해 제공되는 차량 전방 영상에 대하여 직선 라인들로 이루어지는 전처리 영상을 생성하는 전처리부와, 상기 전처리부를 통해 제공되는 전처리 영상을 분석하여 직선 라인 상태가 기 설정된 심층 학습 대상 조건을 만족하는지를 판단하는 라인 상태 분석부, 다수의 입력 영상에 대해 극한 심층 학습 알고리즘에 따른 심층 학습 매개변수 값을 산출함과 더불어, 심층 학습 조건을 만족하는 심층 학습 대상 영상에 대하여 심층 학습 결과값이 적용된 극한 심층 학습 알고리즘 수행을 통한 심층 학습 결과 영상을 생성하는 심층 학습 처리부 및, 심층 학습 조건을 만족하지 않는 전처리 영상 및 심층 학습 영상에 대하여 RANSAC(Random sample consensus) 알고리즘을 통한 차선 검출처리를 수행하는 차선 검출부를 포함하여 구성되고, 상기 극한 심층 학습 알고리즘은 제1 C(convolution)층 연산과 제1 S(subsampling)층 연산, 제2 C(convolution)층 연산, 제2 S(subsampling)층 연산, 제3 C(convolution)층 연산 및, F(fully connected)층 연산이 순차로 이루어지는 CNN(Convolutional Neural Network) 구조에서, 상기 제1 S(subsampling)층과 제2 C(convolution)층 사이와, 제2 S(subsampling)층과 제3 C(convolution)층 사이에 의사역행렬을 사용하여 한 번의 연산으로 인접한 S(subsampling)층과 C(convolution)층 사이의 은닉층에 대한 가중치를 산출하는 제1 및 제2 ELM(Extreme Learning Machine)층을 각각 추가 삽입하여 입력 영상에 대한 심층 학습 연산처리를 수행하도록 구성되는 것을 특징으로 한다.
Int. CL G06K 9/00 (2006.01.01) G06N 3/08 (2006.01.01)
CPC G06K 9/00798(2013.01) G06K 9/00798(2013.01)
출원번호/일자 1020170057191 (2017.05.08)
출원인 경북대학교 산학협력단
등록번호/일자 10-1869266-0000 (2018.06.14)
공개번호/일자
공고번호/일자 (20180621) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2017.05.08)
심사청구항수 11

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대한민국 대구광역시 북구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이민호 대한민국 대구광역시 수성구
2 김지훈 대한민국 대구광역시 북구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 윤귀상 대한민국 서울특별시 금천구 디지털로*길 ** ***호 (가산동, 한신IT타워*차)(디앤특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 경북대학교 산학협력단 대구광역시 북구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2017.05.08 수리 (Accepted) 1-1-2017-0435611-57
2 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2017.06.07 수리 (Accepted) 1-1-2017-0540435-58
3 선행기술조사의뢰서
Request for Prior Art Search
2017.07.11 수리 (Accepted) 9-1-9999-9999999-89
4 선행기술조사보고서
Report of Prior Art Search
2017.10.13 수리 (Accepted) 9-1-2017-0033757-49
5 의견제출통지서
Notification of reason for refusal
2017.12.15 발송처리완료 (Completion of Transmission) 9-5-2017-0881450-33
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2018.02.13 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2018-0158185-67
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2018.02.13 수리 (Accepted) 1-1-2018-0158184-11
8 출원인정보변경(경정)신고서
Notification of change of applicant's information
2018.03.26 수리 (Accepted) 4-1-2018-5051994-32
9 등록결정서
Decision to grant
2018.06.11 발송처리완료 (Completion of Transmission) 9-5-2018-0395181-79
10 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.06.23 수리 (Accepted) 4-1-2020-5136893-04
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
차량에 설치된 촬영 장치를 통해 제공되는 차량 전방 영상에 대하여 직선 라인들로 이루어지는 전처리 영상을 생성하는 전처리부와,상기 전처리부를 통해 제공되는 전처리 영상을 분석하여 직선 라인 상태가 기 설정된 심층 학습 대상 조건을 만족하는지를 판단하는 라인 상태 분석부,다수의 입력 영상에 대해 극한 심층 학습 알고리즘에 따른 심층 모델의 매개변수값을 조절함과 더불어, 심층 학습 조건을 만족하는 심층 학습 대상 영상에 대하여 심층 학습에 의해 조절된 매개변수 값을 적용하여 극한 심층 학습 알고리즘을 수행함으로써, 심층 학습 결과 영상을 생성하는 심층 학습 처리부 및,심층 학습 조건을 만족하지 않는 전처리 영상 및 심층 학습 결과 영상에 대하여 RANSAC(Random sample consensus) 알고리즘을 통한 차선 검출처리를 수행하는 차선 검출부를 포함하여 구성되고,상기 극한 심층 학습 알고리즘은 제1 C(convolution)층 연산과 제1 S(subsampling)층 연산, 제2 C(convolution)층 연산, 제2 S(subsampling)층 연산, 제3 C(convolution)층 연산 및, F(fully connected)층 연산이 순차로 이루어지는 CNN(Convolutional Neural Network) 구조에서, 상기 제1 S(subsampling)층과 제2 C(convolution)층 사이와, 제2 S(subsampling)층과 제3 C(convolution)층 사이에 의사역행렬을 사용하여 한 번의 연산으로 인접한 S(subsampling)층과 C(convolution)층 사이의 은닉층에 대한 가중치를 산출하는 제1 및 제2 ELM(Extreme Learning Machine)층을 각각 추가 삽입하여 입력 영상에 대한 심층 학습 연산처리를 수행하도록 구성되고,상기 심층 학습 처리부는,상기 C(convolution)층과 S(subsampling)층 및, ELM(Extreme Learning Machine)층 가중치에 대한 초기값을 임의로 설정한 상태에서, 순방향 경로에서 전처리 영상과 F(fully connected)층 출력영상간의 에러가 최소가 되는 역전파 에러값을 근거로 해당 ELM(Extreme Learning Machine)층에 대한 가중치를 산출함으로써, 심층 학습 매개변수 값을 설정하도록 구성되고,상기 ELM(Extreme Learning Machine)층에 대한 가중치는 입력 데이터(Ki)와 인접하는 상기 C층의 에러값(Ti)을 의사역행렬하여 산출되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
2 2
제1항에 있어서,상기 라인 상태 분석부는 전처리 영상에서 3개 이상의 라인이 존재하거나, 이전 프레임과 현재 프레임에서의 라인 위치가 다르거나, 이전 프레임과 현재 프레임에서의 소실점 위치가 다른 조건을 만족하는 경우, 해당 전처리 영상을 심층 학습 대상 영상으로 판단하는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
3 3
삭제
4 4
제1항에 있어서,상기 C(convolution)층과 S(subsampling)층에 대한 가중치는 초기값으로 고정 설정되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
5 5
제1항에 있어서,상기 심층 학습 처리부는ELM(Extreme Learning Machine)층에 대한 가중치를 설정한 상태에서 F(fully connected)층 에러값이 기 설정된 임계치 미만이 될 때까지 의사역행렬을 사용하여 ELM(Extreme Learning Machine)에 대한 가중치 업데이트 처리를 반복적으로 수행하여 심층 학습 매개변수 값을 결정하도록 구성되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
6 6
제1항에 있어서,상기 ELM(Extreme Learning Machine)층에 대한 가중치는 하기 수학식을 통해 산출되고, 여기서, βi는 i번째 ELM층에 대한 가중치이고, Ki는 i번째 ELM층의 입력 데이터이며, Ti는 i번째 ELM층과 인접하는 C층의 에러값이고,상기 i번째 ELM층에서의 역전파 방향의 출력 데이터는, 하기 수학식과 같이 근사화하는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
7 7
제1항에 있어서,상기 제1 내지 제3 C(convolution)층과, 제1 및 제2 S(subsampling)층 및, 제1 및 제2 ELM(Extreme Learning Machine)층 가중치에 대한 초기값은 "-1 ~ +1" 범위의 값으로 설정되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 시스템
8 8
심층 학습 장치에서 다수의 입력 영상에 대해 극한 심층 학습 알고리즘에 따른 심층 학습 매개변수 값을 산출하는 심층 학습 단계와, 심층 학습 장치에서 차량에 설치된 촬영 장치를 통해 제공되는 입력 차선 영상에 대하여 직선 라인들로 이루어지는 전처리 영상을 생성하는 전처리 단계,상기 전처리 단계를 통해 제공되는 전처리 영상을 분석하여 직선 라인 상태가 기 설정된 심층 학습 대상 조건을 만족하는지를 판단하는 라인 상태 판단단계,심층 학습 조건을 만족하는 심층 학습 대상 영상에 대하여 상기 심층 학습 단계에서 산출된 심층 학습 매개변수 값이 적용된 극한 심층 학습 알고리즘 수행을 통하여 심층 학습 결과 영상을 생성하는 심층 학습 처리 단계 및,상기 라인 상태 판단단계에서 심층 학습 조건을 만족하지 않는 전처리 영상 또는 상기 심층 학습 처리단계로부터 제공되는 심층 학습 결과 영상에 대하여 RANSAC(Random sample consensus) 알고리즘을 통한 차선 검출처리를 수행하는 차선 검출 단계를 포함하여 구성되고,상기 심층 학습 단계와 심층 학습 처리 단계에서 이루어지는 극한 심층 학습 알고리즘은 제1 C(convolution)층 연산과 제1 S(subsampling)층 연산, 제2 C(convolution)층 연산, 제2 S(subsampling)층 연산, 제3 C(convolution)층 연산 및, F(fully connected)층 연산이 순차로 이루어지는 CNN(Convolutional Neural Network) 구조에서, 상기 제1 S(subsampling)층과 제2 C(convolution)층 사이와, 제2 S(subsampling)층과 제3 C(convolution)층 사이에 의사역행렬을 사용하여 한 번의 연산으로 인접한 S(subsampling)층과 C(convolution)층 사이의 은닉층에 대한 가중치를 산출하는 제1 및 제2 ELM(Extreme Learning Machine)층을 각각 추가 삽입하는 구조로 이루어짐으로써, 입력 영상에 대한 심층 학습 연산처리를 수행하도록 구성되고,상기 심층 학습 단계는,상기 극한 심층 학습 알고리즘 구조에서 상기 C(convolution)층과 S(subsampling)층 및, ELM(Extre me Learning Machine)층 가중치에 대한 초기값을 임의로 설정하는 제1 단계와,순방향 경로에서의 F(fully connected)층 출력 영상과 전처리 영상간의 차에 대응되는 출력 에러를 산출하는 제2 단계,의사역행렬을 이용하여 제2 단계에서 F(fully connected)층 출력 에러가 최소가 되는 제1 ELM층에 대한 가중치를 산출하여 설정하는 제3 단계,제3 단계에서 제1 ELM(Extreme Learning Machine)층에 대한 가중치가 변경 설정된 상태에서, 순방향 경로에서의 F(fully connected)층 출력 영상과 전처리 영상간의 차에 대응되는 출력 에러를 산출하는 제4 단계 및,의사역행렬을 이용하여 제4 단계에서 F(fully connected)층 출력 에러가 최소가 되는 제2 ELM(Extreme Learning Machine)층에 대한 가중치를 산출하여 설정하는 제5 단계를 포함 하여 구성되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 방법
9 9
제8항에 있어서,상기 라인 상태 판단단계는 전처리 영상에서 3개 이상의 라인이 존재하거나, 이전 프레임과 현재 프레임에서의 라인 위치가 다르거나, 이전 프레임과 현재 프레임에서의 소실점 위치가 다른 조건을 만족하는 경우, 해당 전처리 영상을 심층 학습 대상 영상으로 판단하는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 방법
10 10
삭제
11 11
제8항에 있어서,상기 제5 단계에서 제2 ELM(Extreme Learning Machine)층에 대한 가중치가 설정된 상태에서, F(fully connected)층 출력 영상에 대한 에러값이 기 설정된 임계치보다 작은 경우, 상기 제1 내지 제5 단계를 반복 수행하여 F(fully connected)층 출력 영상에 대한 에러값이 기 설정된 임계치 미만인 때의 가중치를 심층 학습 최종 매개변수 값으로 설정하는 제6 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 방법
12 12
제8항 또는 제11항에 있어서,상기 제1 및 제2 ELM(Extreme Learning Machine)층에 대한 가중치는 하기 수학식을 통해 산출되고, 여기서, βi는 i번째 ELM층에 대한 가중치이고, Ki는 i번째 ELM층의 입력 데이터이며, Ti는 i번째 ELM층과 인접하는 C층의 에러값이고,상기 i번째 ELM층에서의 역전파 방향의 출력 데이터는, 하기 수학식과 같이 근사화하는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 방법
13 13
제8항에 있어서,상기 제1 내지 제3 C(convolution)층과, 제1 및 제2 S(subsampling)층 및, 제1 및 제2 ELM(Extreme Learning Machine)층 가중치에 대한 초기값은 "-1 ~ +1" 범위의 값으로 설정되는 것을 특징으로 하는 극한 심층학습 기반 차선 검출 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 경북대학교 IT.SW 융합산업원천기술개발사업 사용자의 의도와 맥락을 이해하는 지능형 인터랙션 기술 연구개발