맞춤기술찾기

이전대상기술

딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법

  • 기술번호 : KST2022005454
  • 담당센터 : 광주기술혁신센터
  • 전화번호 : 062-360-4654
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 가축행동 어노테이션(annotation)을 이용하여 사전 학습된 딥러닝을 이용하여 동영상에서 가축의 행동을 자동으로 인식 및 검출하고, 이를 저장 및 단기행동분석/장기행동분석을 수행하여 위험상황 발생시 경보를 수행함으로써 가축 행동을 자동으로 실시간 모니터링할 수 있는 딥러닝(deep learning)을 이용한 가축행동 자동인식 및 모니터링 시스템 및 그 방법에 관한 것으로, 상기 시스템은, 가축행동의 유형을 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈; 실시간 입력되는 동영상을 상기 가축행동 어노테이션에 기반한 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈; 검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈; 저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈; 설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행도오 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈; 상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및 생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함한다.
Int. CL A01K 29/00 (2006.01.01) G06N 3/08 (2006.01.01) G06T 7/20 (2017.01.01) G06K 9/00 (2022.01.01)
CPC A01K 29/005(2013.01) G06N 3/08(2013.01) G06T 7/20(2013.01) G06V 40/10(2013.01) G06T 2207/30232(2013.01)
출원번호/일자 1020210007173 (2021.01.19)
출원인 전북대학교산학협력단, 목포대학교산학협력단
등록번호/일자 10-2396999-0000 (2022.05.09)
공개번호/일자
공고번호/일자 (20220516) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.01.19)
심사청구항수 5

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 대한민국 전라북도 전주시 덕진구
2 목포대학교산학협력단 대한민국 전라남도 무안군

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박동선 전라북도 전주시 덕진구
2 윤숙 전라남도 무안군
3 김형석 전라북도 전주시 덕진구
4 알바로 푸엔테스 전라북도 전주시 덕진구
5 박종빈 전라북도 전주시 덕진구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 다해 대한민국 서울시 서초구 서운로**, ***호(서초동, 중앙로얄오피스텔)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 전북대학교산학협력단 전라북도 전주시 덕진구
2 목포대학교산학협력단 전라남도 무안군
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.01.19 수리 (Accepted) 1-1-2021-0067616-25
2 보정요구서
Request for Amendment
2021.01.21 발송처리완료 (Completion of Transmission) 1-5-2021-0012877-40
3 [출원서 등 보정]보정서
[Amendment to Patent Application, etc.] Amendment
2021.01.26 수리 (Accepted) 1-1-2021-0104676-67
4 특허고객번호 정보변경(경정)신고서·정정신고서
2021.07.22 수리 (Accepted) 4-1-2021-5199350-79
5 [우선심사신청]심사청구서·우선심사신청서
2021.08.20 수리 (Accepted) 1-1-2021-0960389-13
6 의견제출통지서
Notification of reason for refusal
2021.10.19 발송처리완료 (Completion of Transmission) 9-5-2021-0820777-11
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2021.11.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2021-1311676-91
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2021.11.15 수리 (Accepted) 1-1-2021-1311675-45
9 등록결정서
Decision to grant
2022.02.08 발송처리완료 (Completion of Transmission) 9-5-2022-0106807-80
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 가축행동 어노테이션 정의 모듈; 실시간 입력되는 동영상을, 상기 가축행동 어노테이션에 기반으로 사전 학습된 딥러닝을 이용하여 가축행동을 검출하는 가축행동 자동검출 모듈;검출된 가축행동 데이터와 상기 동영상이 입력된 시간정보를 함께 저장하는 가축행동 데이터 저장 모듈;저장된 가축행동 데이터의 현재 위험상황 여부를 분석하는 단기행동 모니터링을 수행하고, 단기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제1 분석 모듈; 설정된 일정 기간의 시간 동안의 저장된 가축행동 데이터에 대한 통계 정보를 분석하는 장기행동 모니터링을 수행하고, 장기행동 모니터링 결과 위험상황 발생으로 확인되면 등록된 사육사 단말로 위험상황 발생 경보를 전달하도록 요청하는 가축행동 제2 분석 모듈; 상기 위험상황 발생 경보의 전달 요청이 수신되면, 등록된 사육사 단말로 위험상황 발생 경보 메시지를 생성하여 전달하는 가축행동 경보 모듈; 및생성된 위험상황 발생 경보 메시지가 상기 등록된 사육사 단말로 전송되도록 하는 통신 모듈;을 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템
2 2
삭제
3 3
삭제
4 4
삭제
5 5
제1항에 있어서,상기 가축행동 자동검출 모듈은, 상기 입력된 동영상의 현재 프레임과 직전 프레임을 비교하여 움직임이 있는 영역을 표시한 플로우 동영상을 생성하고, 상기 입력된 동영상으로부터 외형 특징을 추출하는 동시에 객체를 추출하여 해당 객체의 ROI를 검출하고, 생성된 플로우 동영상으로부터 움직임 특징을 추출하며, 추출된 외형 특징 및 움직임 특징에 각각 ROI 풀링을 수행한 후 평균 풀링을 수행하여 종합하고 종합된 영상에 경계상자(bounding box) 및 클래스를 표출하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템
6 6
제5항에 있어서,상기 가축행동 자동검출 모듈은, 정의된 가축행동 어노테이션을 이용하여 사전 훈련을 수행한 딥러닝(CNN)을 사용하여 가축행동을 검출하며, 사전 훈련된 딥러닝 특징 추출에 따른 가축행동 검출결과의 훈련손실을 최소화하기 위한 손실함수는 위치정보 손실함수와 클래스정보 손실함수의 합으로 산출되며, 위치정보 손실 함수는 수학식 (1)을 통해 산출되며, 클래스 정보 손실함수는 수학식 (2)을 통해 산출되는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템
7 7
제1항에 있어서,상기 가축행동 제1 분석 모듈은, 단기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하고, 상기 가축행동 제2 분석 모듈은, 장기행동 모니터링 결과를 상기 가축행동 데이터 저장 모듈로 전달하여 저장을 요청하는 것을 특징으로 하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 시스템
8 8
가축행동의 유형에 대한 계층적 레이블링을 수행하여 가축행동 어노테이션을 정의하는 단계;정의된 가축행동 어노테이션을 기반으로 사전 학습된 딥러닝을 이용하여 입력되는 동영상으로부터 가축행동을 자동 검출하여 저장하는 단계;저장된 가축행동 데이터에 대한 현재 위험상황 발생 여부를 분석하는 단기행동 모니터링을 수행하거나, 저장된 가축행동 데이터 중 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터를 추출하고, 상기 설정된 일정 기간의 시간 동안 저장된 가축행동 데이터에 대한 통계 정보를 추출하여 위험상황 발생 여부를 분석하는 장기행동 모니터링을 수행하는 단계;상기 단기행동 모니터링 수행 결과, 현재 위험상황 발생이 확인되면 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계; 및상기 장기행동 모니터링 수행 결과, 위험상황 발생이 확인되면, 등록된 사육사 단말로 상기 위험상황 발생 정보를 적어도 포함하는 경보 메시지를 생성하여 전달하는 단계;를 포함하는 딥러닝을 이용한 가축행동 자동인식 및 모니터링 방법
9 9
삭제
10 10
삭제
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 전북대학교 산학협력단 중견연구사업 동영상 기반 축사 내 한우 행동 이해를 위한 딥러닝 구조 연구
2 교육부 전북대학교 산학협력단 중점연구소지원(이공계분야) 전북대학교 부설 지능형로봇연구소