맞춤기술찾기

이전대상기술

딥러닝 기반 손안의 상품인식을 통한 재고 관리 장치 및 방법

  • 기술번호 : KST2023002045
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 딥러닝을 이용한 비전 인식을 통해 손으로 잡은 객체를 인식하고, 이를 통하여 객체의 재고를 관리하는 재고 관리 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 재고 관리 방법은, 저장공간에 구비된 복수의 카메라를 통해 캡쳐된 이미지를 수집하는 단계와, 캡쳐된 이미지 중 손으로 잡은 객체를 포함하는 이미지로부터 객체를 검출하는 단계와, 검출된 객체의 위치를 추적하여, 검출된 객체의 이동방향을 결정하는 단계와, 객체에 대한 이동방향의 결정에 대응하여 저장공간에 구비된 객체의 재고를 업데이트하는 단계를 포함할 수 있다.
Int. CL G06Q 10/08 (2023.01.01) G06T 7/00 (2017.01.01) G06T 7/11 (2017.01.01) G06T 7/194 (2017.01.01) G06T 7/70 (2017.01.01) G06N 20/00 (2019.01.01)
CPC G06Q 10/087(2013.01) G06T 7/0008(2013.01) G06T 7/11(2013.01) G06T 7/194(2013.01) G06T 7/70(2013.01) G06N 20/00(2013.01) G06T 2207/20081(2013.01) G06T 2207/20084(2013.01) G06T 2207/30128(2013.01) G06T 2210/12(2013.01)
출원번호/일자 1020210188804 (2021.12.27)
출원인 서울대학교산학협력단
등록번호/일자
공개번호/일자 10-2023-0099452 (2023.07.04) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.12.27)
심사청구항수 19

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 서울대학교산학협력단 대한민국 서울특별시 관악구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이태호 경기도 안양시 만안구
2 이혁재 서울특별시 관악구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 남앤남 대한민국 서울특별시 중구 서소문로**(서소문동, 정안빌딩*층)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.12.27 수리 (Accepted) 1-1-2021-1510148-63
2 선행기술조사의뢰서
Request for Prior Art Search
2022.02.15 수리 (Accepted) 9-1-9999-9999999-89
3 특허고객번호 정보변경(경정)신고서·정정신고서
2022.04.04 수리 (Accepted) 4-1-2022-5079741-71
4 선행기술조사보고서
Report of Prior Art Search
2022.05.12 발송처리완료 (Completion of Transmission) 9-6-2022-0084449-00
5 특허고객번호 정보변경(경정)신고서·정정신고서
2022.08.11 수리 (Accepted) 4-1-2022-5189083-38
6 특허고객번호 정보변경(경정)신고서·정정신고서
2022.10.07 수리 (Accepted) 4-1-2022-5235636-01
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
객체의 재고를 관리하는 장치의 프로세서에 의해 수행되는 재고 관리 방법으로서,저장공간에 구비된 복수의 카메라를 통해 캡쳐된 이미지를 수집하는 단계;상기 캡쳐된 이미지 중 손으로 잡은 객체를 포함하는 이미지로부터 상기 객체를 검출하는 단계;검출된 상기 객체의 위치를 추적하여, 상기 검출된 객체의 이동방향을 결정하는 단계; 및상기 객체에 대한 상기 이동방향의 결정에 대응하여 상기 저장공간에 구비된 객체의 재고를 업데이트하는 단계를 포함하는,재고 관리 방법
2 2
제 1 항에 있어서,상기 객체를 검출하는 단계는,손으로 잡은 객체를 포함하는 이미지를 입력으로 하여 객체의 클래스를 출력하는 객체 인식 학습 모델을 통해 상기 캡쳐된 손으로 잡은 객체를 포함하는 이미지 대응하는 객체의 클래스를 출력하는 단계를 포함하는,재고 관리 방법
3 3
제 2 항에 있어서, 상기 객체의 클래스를 출력하는 단계 이전에 상기 객체 인식 학습 모델을 생성하는 단계를 더 포함하고,상기 객체 인식 학습 모델을 생성하는 단계는,배경 및 객체를 포함하는 제1 원본이미지로부터 상기 배경을 제거한 객체를 추출하는 단계;배경 및 손모양을 포함하는 제2 원본이미지로부터 상기 배경을 제거한 손모양을 추출하는 단계;상기 객체 및 손모양을 합성하여 제1 합성이미지를 생성하는 단계;상기 제1 합성이미지와 임의의 배경을 합성한 제2 합성이미지를 생성하는 단계;상기 제2 합성이미지를 입력으로 하고 상기 객체의 클래스를 레이블로 하는 훈련데이터 세트를 이용하여 심층신경망 모델 훈련시키는 단계; 및상기 심층신경망 모델의 훈련을 통하여 제2 합성이미지로부터 객체의 클래스를 출력하는 객체 인식 학습 모델을 생성하여 저장하는 단계를 포함하는,재고 관리 방법
4 4
제 3 항에 있어서,상기 배경을 제거한 객체를 추출하는 단계는,추출한 객체에 제1 바운딩박스를 생성하여 표시하는 단계를 더 포함하고,상기 제1 바운딩박스는,상기 제1 원본이미지 내에서 상기 객체의 위치 정보 및 상기 객체의 클래스 정보를 포함하는,재고 관리 방법
5 5
제 4 항에 있어서,상기 배경을 제거한 손모양을 추출하는 단계는,추출한 손모양에 제2 바운딩박스를 생성하여 표시하는 단계를 더 포함하고,상기 제2 바운딩박스는,상기 제2 원본이미지 내에서 위치 정보와, 상기 손모양이 사물의 상부부분을 잡은 제1 손모양, 상기 사물의 중간부분을 잡은 제2 손모양 및 사물의 하부부분을 잡은 제3 손모양 중 어느 하나인지에 대한 정보를 포함하는 손모양 정보를 포함하는,재고 관리 방법
6 6
제 5 항에 있어서,상기 제1 합성이미지를 생성하는 단계 이후에,상기 제1 바운딩박스 및 상기 제2 바운딩박스를 제거하고, 상기 제1 합성이미지에 포함되는 객체에 제3 바운딩박스를 생성하여 표시하는 단계를 더 포함하고,상기 제3 바운딩박스 내부에 표시되는 상기 제1 합성이미지에 포함되는 객체는, 일부가 상기 손모양을 기반으로 가려져 있고,상기 제3 바운딩박스는, 상기 객체의 위치 정보 상기 객체의 클래스 정보 및 상기 손모양 정보를 포함하는,재고 관리 방법
7 7
제 6 항에 있어서,상기 제2 합성이미지를 생성하는 단계 이후에,상기 제2 합성이미지로부터 상기 제3 바운딩박스를 제거하는 단계를 더 포함하는,재고 관리 방법
8 8
제 1 항에 있어서,상기 이동방향을 결정하는 단계는,상기 저장공간의 내부와 외부를 구분하는 마커의 위치를 인식하는 단계;상기 마커의 위치를 중심으로 하여 상기 캡쳐된 이미지 상에서 윗부분 및 아랫부분으로 연장되는 기준선을 생성하는 단계; 및상기 검출된 객체의 위치를 추적하여 상기 검출된 객체가 상기 기준선을 중심으로 상기 내부에서 상기 외부로 이동하는 제1 이동방향인지 또는 상기 검출된 객체가 상기 기준선을 중심으로 상기 외부에서 상기 내부로 이동하는 제2 이동방향인지 결정하는 단계를 포함하는,재고 관리 방법
9 9
제 8 항에 있어서,상기 객체의 재고를 업데이트하는 단계는,상기 검출된 객체의 이동방향이 상기 제1 이동방향임에 따라 상기 검출된 객체를 재고로부터 제거하는 단계; 및상기 검출된 객체의 이동방향이 상기 제2 이동방향임에 따라 상기 검출된 객체를 재고에 추가하는 단계를 포함하는,재고 관리 방법
10 10
컴퓨터를 이용하여 제 1 항 내지 제 9 항의 방법 중 어느 한 항의 방법을 실행시키기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체
11 11
객체의 재고를 관리하는 장치로서,프로세서; 및상기 프로세서와 동작 가능하게 연결되고 상기 프로세서에서 수행되는 적어도 하나의 코드를 저장하는 메모리를 포함하고,상기 메모리는 상기 프로세서를 통해 실행될 때, 상기 프로세서가 저장공간에 구비된 복수의 카메라를 통해 캡쳐된 이미지를 수집하고,상기 캡쳐된 이미지 중 손으로 잡은 객체를 포함하는 이미지로부터 상기 객체를 검출하고,검출된 상기 객체의 위치를 추적하여, 상기 검출된 객체의 이동방향을 결정하고,상기 객체에 대한 상기 이동방향의 결정에 대응하여 상기 저장공간에 구비된 객체의 재고를 업데이트 하도록 야기하는 코드를 저장하는,재고 관리 장치
12 12
제 11 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 객체를 검출 시에, 손으로 잡은 객체를 포함하는 이미지를 입력으로 하여 객체의 클래스를 출력하는 객체 인식 학습 모델을 통해 상기 캡쳐된 손으로 잡은 객체를 포함하는 이미지 대응하는 객체의 클래스를 출력하도록 야기하는 코드를 저장하는,재고 관리 장치
13 13
제 12 항에 있어서, 상기 메모리는 상기 프로세서로 하여금,상기 객체의 클래스를 출력하기 전에 상기 객체 인식 학습 모델을 생성하도록 야기하는 코드를 더 포함하고,상기 메모리는 상기 프로세서로 하여금,상기 객체 인식 학습 모델을 생성 시에, 배경 및 객체를 포함하는 제1 원본이미지로부터 상기 배경을 제거한 객체를 추출하고,배경 및 손모양을 포함하는 제2 원본이미지로부터 상기 배경을 제거한 손모양을 추출하고,상기 객체 및 손모양을 합성하여 제1 합성이미지를 생성하고,상기 제1 합성이미지와 임의의 배경을 합성한 제2 합성이미지를 생성하고,상기 제2 합성이미지를 입력으로 하고 상기 객체의 클래스를 레이블로 하는 훈련데이터 세트를 이용하여 심층신경망 모델 훈련시키고,상기 심층신경망 모델의 훈련을 통하여 제2 합성이미지로부터 객체의 클래스를 출력하는 객체 인식 학습 모델을 생성하여 저장하도록 야기하는 코드를 저장하는,재고 관리 장치
14 14
제 13 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 배경을 제거한 객체를 추출 시에, 추출한 객체에 제1 바운딩박스를 생성하여 표시하도록 야기하는 코드를 더 저장하고,상기 제1 바운딩박스는,상기 제1 원본이미지 내에서 상기 객체의 위치 정보 및 상기 객체의 클래스 정보를 포함하는,재고 관리 장치
15 15
제 14 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 배경을 제거한 손모양을 추출 시에, 추출한 손모양에 제2 바운딩박스를 생성하여 표시하도록 야기하는 코드를 더 저장하고,상기 제2 바운딩박스는,상기 제2 원본이미지 내에서 위치 정보와, 상기 손모양이 사물의 상부부분을 잡은 제1 손모양, 상기 사물의 중간부분을 잡은 제2 손모양 및 사물의 하부부분을 잡은 제3 손모양 중 어느 하나인지를 포함하는 손모양 정보를 포함하는,재고 관리 장치
16 16
제 15 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 제1 바운딩박스 및 상기 제2 바운딩박스를 제거하고, 상기 제1 합성이미지에 포함되는 객체에 제3 바운딩박스를 생성하여 표시하도록 야기하는 코드를 더 저장하고,상기 제3 바운딩박스 내부에 표시되는 상기 제1 합성이미지에 포함되는 객체는, 일부가 상기 손모양을 기반으로 가려져 있고,상기 제3 바운딩박스는, 상기 객체의 위치 정보, 상기 객체의 클래스 정보 및 상기 손모양 정보를 포함하는,재고 관리 장치
17 17
제 16 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 제2 합성이미지를 생성한 이후에, 상기 제2 합성이미지로부터 상기 제3 바운딩박스를 제거하도록 야기하는 코드를 더 저장하는,재고 관리 장치
18 18
제 11 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 이동방향을 결정 시에, 상기 저장공간의 내부와 외부를 구분하는 마커의 위치를 인식하고,상기 마커의 위치를 중심으로 하여 상기 캡쳐된 이미지 상에서 윗부분 및 아랫부분으로 연장되는 기준선을 생성하고,상기 검출된 객체의 위치를 추적하여 상기 검출된 객체가 상기 기준선을 중심으로 상기 내부에서 상기 외부로 이동하는 제1 이동방향인지 또는 상기 검출된 객체가 상기 기준선을 중심으로 상기 외부에서 상기 내부로 이동하는 제2 이동방향인지 결정하도록 야기하는 코드를 저장하는,재고 관리 장치
19 19
제 18 항에 있어서,상기 메모리는 상기 프로세서로 하여금,상기 객체의 재고를 업데이트 시에, 상기 검출된 객체의 이동방향이 상기 제1 이동방향임에 따라 상기 검출된 객체를 재고로부터 제거하고,상기 검출된 객체의 이동방향이 상기 제2 이동방향임에 따라 상기 검출된 객체를 재고에 추가하도록 야기하는 코드를 저장하는,재고 관리 장치
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 아주대학교산학협력단 정보통신방송혁신인재양성(R&D) 지능형 의료영상 진단 솔루션 개발