맞춤기술찾기

이전대상기술

신경회로망 학습에 의한 작물과 잡초 식별 방법 및 장치

  • 기술번호 : KST2019004318
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 Convolutional Encoder-Decoder (CED) 신경회로망 기술을 이용해서 작물들의 열을 인식함으로써 열 사이의 식물들은 모두 잡초로 인식하는 단계와; 작물 열상에 존재하는 소수의 잡초들에 대해서는 추가적인 CED 신경회로망을 사용하여 작물로부터 잡초를 식별하게 하는 단계로 구성된 작물과 잡초를 식별하기 위한 기술에 관한 것이다. Convolutional Encoder-Decoder (CED) 신경회로망은 입력단에서 출력단까지의 사이가 여러 단으로 구성되며, 중간 단으로 갈수록 크기가 작아지다 커져가는 구조로서, 각 단에 convolutional 연산을 하는 신경회로망이다. 본 발명은 작물 열들을 추출하는 CED 신경회로망과 작물과 잡초를 식별하는 CED 신경회로망 등 2 개의 신경회로망으로 구성된다. CED 신경회로망에는 기본 구조로부터 변형된 여러 가지 구조가 있지만, 기본 구조나 다른 변형된 구조의 CED 신경회로망도 본 발명의 실시에 사용가능하다. 작물 열을 추출하는 CED 신경회로망에는 입력 측에 작물 영상들을 입력하고, 학습목표영상들에는 입력영상들의 작물 열에 해당하는 위치에 그래픽 선들로 표시하여 이들을 학습하게 함으로써, 작물 영상으로부터 작물 열을 추출하는 기술을 스스로 구축하게 한다. 또, 작물-잡초 식별용 CED 신경회로망에는 작물 열 영상을 근접 촬영한 영상을 입력으로 하고, 입력된 영상에서의 작물 혹은 잡초에 해당하는 위치에 작물 혹은 잡초의 종류마다 다른 종류 (컬러/형상)의 심벌을 위치시켜 표시한 영상을 학습목표영상으로 구성하여 이들을 학습하게 함으로써, 작물과 잡초를 식별할 수 있는 기술을 학습을 통하여 스스로 구축하게 한다. 본 발명을 통해서 얻어진 작물 열 위치 정보와 열상의 잡초 위치 정보가 제초기에 보내지면, 제초기는 해당위치로 제초기구를 보내서 제초를 실행할 수 있게 한다. 본 발명은 논 작물이나 밭작물 재배에 모두 적용할 수 있으나, 본 명세서에는 논농사에서의 잡초 중 벼와 구별이 가장 어려운 피의 식별에 본 발명을 사용하는 예를 보였다.
Int. CL G06K 9/62 (2006.01.01) G06K 9/46 (2006.01.01) G06N 3/08 (2006.01.01)
CPC
출원번호/일자 1020180129482 (2018.10.29)
출원인 전북대학교산학협력단
등록번호/일자 10-2188521-0000 (2020.12.02)
공개번호/일자 10-2019-0047636 (2019.05.08) 문서열기
공고번호/일자 (20201208) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보 대한민국  |   1020170140783   |   2017.10.27
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.10.29)
심사청구항수 13

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 대한민국 전라북도 전주시 덕진구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김형석 전라북도 전주시 덕진구
2 박동선 전라북도 전주시 덕진구
3 샴 아디카리 전라북도 전주시 덕진구
4 양희찬 전라북도 전주시 덕진구
5 김용진 전라북도 전주시 덕진구
6 양창주 전라북도 전주시 완산구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 이대규 대한민국 광주광역시 동구 동명로 ***-*, ***호 (지산동,광주지방변호사회관)(법률사무소소통)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 대한민국 전라북도 전주시 덕진구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.10.29 수리 (Accepted) 1-1-2018-1063628-10
2 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.02.27 수리 (Accepted) 4-1-2019-5038917-11
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.23 수리 (Accepted) 4-1-2019-5146986-17
4 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.07.23 수리 (Accepted) 4-1-2019-5146985-61
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.10.22 수리 (Accepted) 4-1-2019-5219602-91
6 의견제출통지서
Notification of reason for refusal
2019.10.30 발송처리완료 (Completion of Transmission) 9-5-2019-0788473-47
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.12.24 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-1333633-95
8 의견제출통지서
Notification of reason for refusal
2020.04.28 발송처리완료 (Completion of Transmission) 9-5-2020-0298159-24
9 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2020.06.15 1-1-2020-0611642-39
10 [반환신청]서류 반려요청서·반환신청서
2020.06.19 수리 (Accepted) 1-1-2020-0631532-84
11 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2020.06.29 수리 (Accepted) 1-1-2020-0670655-49
12 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2020.06.29 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2020-0668127-51
13 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.07.06 수리 (Accepted) 4-1-2020-5149086-79
14 등록결정서
Decision to grant
2020.11.25 발송처리완료 (Completion of Transmission) 9-5-2020-0823097-63
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
논이나 밭 작물 재배를 위한 제초를 위해서 농작물의 열들을 CED 신경회로망 학습에 의해 인식함으로써 그 열들에서 벗어난 식물들을 모두 잡초로 간주하여 제거할 수 있도록 하는 단계와; 그 열들과 그 주위에 남아있는 잡초들에 대해서는 또 다른 CED 신경회로망 학습을 통하여 작물과 분리 식별하는 단계로 구성된 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
2 2
청구항 제1항에 있어서, 상기 농작물의 열 인식 단계와 작물과 잡초 식별 단계에서 사용하는 CED 신경회로망은 여러 컨벌루션(convolution) 층으로 구성되며, 점점 작아지는 인코더(encoder) 부분과 다시 점점 커지는 디코더(decoder) 부분이 결합된 구조의 CED 신경회로망을 갖는 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
3 3
청구항 제2항에 있어서, 상기 CED 신경회로망에는 인코더(encoder) 부분의 각 층의 출력들이 디코더(decoder) 부분의 동일한 층의 입력으로 합산되는 CED 신경회로망, 즉 유네트(Unet) 구조라 불리는 변형된 구조의 CED 신경회로망도 사용가능한 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
4 4
청구항 제3항에 있어서, 상기 CED 신경회로망에는 유네트(Unet) 구조라 불리는 CED 신경회로망을 기본 구조로 하고 각 층을 건너뛰는 연결을 추가적으로 갖는 덴스네트(DensNet)라 불리는 변형된 구조의 CED 신경회로망도 사용가능한 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
5 5
청구항 제1항에 있어서, 농작물의 열 인식 방법은 농작물의 영상이 상기 CED 신경회로망의 입력으로 인가되었을 때, CED 신경회로망은 입력으로 인가된 농작물 영상 중의 작물 열에 해당하는 위치가 CED 신경회로망의 출력단에 그래픽 선으로 그려서 표시되도록 CED 신경회로망을 반복적으로 학습시키고, 또 다른 많은 작물 열 영상들에 대해서도 동일한 방법으로 학습하게 함으로써, 임의의 테스트 농작물 영상이 인가되었을 때, 그 농작물 열에 해당하는 위치가 그래픽 선으로 그려져서 표시되게 하는 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
6 6
청구항 제1항에 있어서, 작물이 벼이고 잡초가 피인 경우에 이들을 구별하는 방법은 벼의 모의 경우 여러 개의 볍씨를 모아서 발아시키므로 모의 밑둥은 여러 개의 벼들이 포기를 이뤄 밀집해 있는데 비해, 피는 개별적으로 흩어져 발아하므로, 포기 밑둥 부분의 밀집도가 낮다는 점을 이용하여 포기의 밑둥 부분의 밀집도의 시각적 차이를 이용하여 구별하는 벼와 피를 식별하는 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
7 7
청구항 제6항에 있어서, 밑둥의 밀집도의 시각적 차이를 이용해서 벼와 피를 구별하기 위한 학습목표영상 데이터는 입력영상의 벼와 피의 밑둥 부분에 해당하는 곳에 서로 다른 색이나 형상의 심벌로 표시함으로써 벼와 피를 구별하게 하는 벼와 피 식별을 위한 학습목표영상을 작성하는 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
8 8
청구항 제5항에 있어서, 작물 열 인식용 CED 신경회로망 학습에 필요한 데이터베이스는, 제초기가 추종하고자 하는 방향에서 촬영한 작물 열 영상을 입력영상으로 하고; 상기 입력영상에서의 각 작물 열에 해당하는 위치에 그래픽 선으로 작성한 영상을 학습목표영상으로 하여; 상기 입력영상-학습목표영상이 한 개 세트로 구성된 학습 데이터세트를 대량으로 준비한 작물 열 학습용 데이터 베이스 구비 방법을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
9 9
청구항 제6항에 있어서, 작물-잡초 식별용 CED 신경회로망에 필요한 학습 데이터베이스는 작물 열 상에서 작물과 잡초가 함께 포함된 영상들을 촬영하되, 작물과 잡초의 형상이 뚜렷하게 구별 가능하도록 근접 촬영한 영상들을 CED 신경회로망의 입력영상으로 하고; 각 입력영상에서의 각 작물과 잡초에 해당하는 위치에 이들을 구별할 수 있도록 다른 형상 혹은 컬러의 심벌들을 사용한 영상을 작성하여 이를 학습목표영상으로 하며; 상기 입력영상-학습목표영상을 한 세트로 하는 학습 데이터세트를 대량으로 구비한 작물-잡초 식별 학습용 데이터베이스 작성 방법을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
10 10
청구항 제9항에 있어서, 작물-잡초 식별용 CED 신경회로망에 필요한 학습데이터 베이스에서 학습목표영상 작성은 초기에 비어있는(blank) 영상 혹은 입력영상을 복사한 영상 위에 각 객체를 구별할 수 있도록 다양한 색을 사용한 선, 도형, 혹은 심벌들로 그래픽화하여 작성하는 학습목표영상 작성 방법을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
11 11
청구항 제9항에 있어서, 작물-잡초 식별용 CED 신경회로망에 필요한 학습 데이터베이스에서의 학습목표영상 작성 시 각 심벌의 위치와 크기는 입력영상을 기준으로 하여 정하며; 심벌영역 내에 객체 간의 구별성이 큰 특징들이 가급적 많이 포함 될 수 있도록 심벌 중심점의 위치와 크기를 정하여 학습목표영상에 표시하는 학습목표영상에서의 심벌의 위치와 크기 표시 방법을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 방법
12 12
청구항 제5항 또는 제8항의 방법으로 제작된 작물 열 위치의 그래픽 표시 영상으로 작성된 작물 영상-작물 열 영상 데이터베이스(220)와; 상기 영상 데이터베이스(220)로 청구항 제1항 내지 제4항 중 어느 한 항의 방법으로 학습하는 작물 열 인식용 CED 신경회로망(230)과; 청구항 제6항, 제7항 및 제9항 내지 제11항 중 어느 한 항의 방법으로 제작된 작물-잡초 종류 및 위치의 심벌 표시 영상으로 작성된 작물 영상-작물 종류 위치 영상 데이터베이스(250)와; 상기 영상 데이터베이스(250)로 청구항 제1항 내지 제4항 중 어느 한 항의 방법으로 학습하는 작물과 잡초의 종류 및 위치인식용 CED 신경회로망(260)과; 작물-잡초 영상을 실시간으로 촬영하여 상기 CED 신경회로망(230, 260)의 입력으로 인가하는 카메라(280)와; 상기 CED 신경회로망을 소프트웨어적으로 구성하여 수행시키고, CED 신경회로망의 결과를 분석하고, 그 결과를 이용하여 외부에 연결된 제초기의 자율제초작업에 필요한 제어신호를 생성시키고, 이를 상기 제초기에 제공하는 CPU(100)와; 상기 CPU를 보조하며 CED 신경회로망을 고속으로 수행시키는 GPU(110)를 포함하는 것을 특징으로 하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 장치
13 13
청구항 제12항에 있어서 학습된 CED 신경회로망들의 파라미터들에는 이미 작물 영상-작물 열 영상 데이터베이스(220)와; 작물 영상-작물 종류 및 위치 영상 데이터베이스(250) 로부터 추출된 작물 열 인식 및 작물-잡초 식별에 필요한 정보가 포함되어 있으므로 장치의 소형화를 위해서 상기 데이터베이스들은 제거하고, 카메라(280)와 작물 열 인식용 CED 신경회로망(230)과; 잡초의 식별 및 위치 인식용 CED 신경회로망(260)과; CPU(100)와; GPU(110)로만 간단히 제초기의 제어시스템을 구성하는 것을 특징으로하는 CED 신경회로망 학습에 의한 작물과 잡초의 식별 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 JP06771800 JP 일본 FAMILY
2 JP32529686 JP 일본 FAMILY
3 WO2019083336 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
DOCDB 패밀리 정보가 없습니다
국가 R&D 정보가 없습니다.