맞춤기술찾기

이전대상기술

영상 기반 힘 예측 시스템 및 그 방법

  • 기술번호 : KST2019027278
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 영상 기반 힘 예측 시스템 및 그 방법이 개시된다. 영상 기반 힘 예측 시스템의 로봇 팔의 힘 예측 방법은 오브젝트와 상호 작용하는 로봇 팔의 동작을 연속으로 촬영하여 생성한 실제 영상들을 획득하는 단계; 시간의 경과에 따른 상기 로봇 팔의 동작 변화와 관련된 시계열 동작 정보를 획득하는 단계; 및 상기 실제 영상들과 상기 시계열 동작 정보에 기초하여 상기 로봇 팔의 상호 작용 힘을 예측하는 단계를 포함할 수 있다.
Int. CL G01L 11/02 (2006.01.01) B25J 18/00 (2006.01.01) G06T 7/11 (2017.01.01) G06T 7/20 (2017.01.01)
CPC G01L 11/02(2013.01) G01L 11/02(2013.01) G01L 11/02(2013.01) G01L 11/02(2013.01) G01L 11/02(2013.01) G01L 11/02(2013.01)
출원번호/일자 1020180066861 (2018.06.11)
출원인 동국대학교 산학협력단, 아주대학교산학협력단
등록번호/일자 10-2094360-0000 (2020.03.23)
공개번호/일자 10-2019-0140546 (2019.12.20) 문서열기
공고번호/일자 (20200330) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2018.06.11)
심사청구항수 15

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구
2 아주대학교산학협력단 대한민국 경기도 수원시 영통구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 임수철 서울특별시 송파구
2 황원준 경기도 수원시 영통구
3 신호철 경기도 수원시 영통구
4 이동한 서울특별시 서대문구
5 고대관 경기도 의정부시 금신로***번길

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인 무한 대한민국 서울특별시 강남구 언주로 ***, *층(역삼동,화물재단빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 서울특별시 중구
2 아주대학교 산학협력단 경기도 수원시 영통구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2018.06.11 수리 (Accepted) 1-1-2018-0570413-36
2 선행기술조사의뢰서
Request for Prior Art Search
2018.10.15 수리 (Accepted) 9-1-9999-9999999-89
3 선행기술조사보고서
Report of Prior Art Search
2018.12.07 수리 (Accepted) 9-1-2018-0068588-73
4 의견제출통지서
Notification of reason for refusal
2019.07.09 발송처리완료 (Completion of Transmission) 9-5-2019-0493749-13
5 출원인정보변경(경정)신고서
Notification of change of applicant's information
2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
6 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2019.09.09 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2019-0926634-59
7 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2019.09.09 수리 (Accepted) 1-1-2019-0926635-05
8 등록결정서
Decision to grant
2020.01.21 발송처리완료 (Completion of Transmission) 9-5-2020-0054950-78
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
시간의 경과에 따른 오브젝트들 간의 상호 작용을 연속으로 촬영하여 생성한 실제 영상들을 획득하는 단계; 시간의 경과에 따른 상기 오브젝트들의 위치 변화 또는 상기 오브젝트들의 변형과 관련된 로봇 팔의 시계열 동작 정보를 획득하는 단계; 및상기 실제 영상에 포함된 상기 오브젝트들의 위치 변화 또는 상기 오브젝트들의 변형에 기초하여 상기 오브젝트들 간의 상호 작용 힘을 예측하는 단계를 포함하고,상기 예측하는 단계는,상기 실제 영상들, 상기 시계열 동작 정보, 상기 오브젝트들의 물성치 및 상기 로봇 팔의 상호 작용 힘 간의 상관 관계의 학습 결과가 저장된 데이터베이스에 상기 실제 영상들, 상기 시계열 동작 정보 및 상기 오브젝트의 물성치를 적용하여 상기 로봇 팔의 상호 작용 힘을 예측하는 상호 작용 힘 예측 방법
2 2
삭제
3 3
삭제
4 4
삭제
5 5
제1항에 있어서, 상기 상관 관계는,상기 시계열 동작 정보와 상기 실제 영상들을 신경망 구조의 딥러닝 알고리즘에 입력하여 예측된 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치와 센서를 사용하여 측정한 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 비교하여 학습되는 상호 작용 힘 예측 방법
6 6
제5항에 있어서, 상기 딥러닝 알고리즘은,상기 실제 영상들이 입력되는 CNN(Convolutional Neural Network)를 이용하여 상기 실제 영상들에서 로봇의 동작과 관련된 영역을 추출하는 과정;상기 로봇의 시계열 동작 정보가 입력되는 제1 FC (fully-connected) 계층을 이용하여 상기 로봇의 시계열 동작 정보의 클래스 점수들을 계산하는 과정; 추출한 영역과 상기 시계열 동작 정보의 클래스 점수들을 RNN(Recurrent Neural Network)에 입력하여 시간의 경과에 따라 변화하는 상기 영역과 상기 시계열 동작 정보들 간의 관계를 학습하는 과정; 및상기 RNN의 학습 결과가 입력되는 제2 FC 계층으로 상기 학습 결과의 클래스 점수들을 계산하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 과정을 수행하여 상기 실제 영상들 및 로봇의 시계열 동작 정보와 상기 로봇 팔의 상호 작용 힘 간의 상관 관계를 학습하는 상호 작용 힘 예측 방법
7 7
제5항에 있어서, 상기 딥러닝 알고리즘은,상기 시계열 동작 정보를 기초로 시간의 경과에 따른 동작 정보의 변화를 그래프 형태로 나타내는 가상 영상을 생성하여 CNN(Convolutional Neural Network)의 제1 콘볼루션 계층(convolutional layer)에 입력하는 과정;시간의 경과에 따라 누적된 상기 실제 영상들을 상기 제1 콘볼루션 계층과 서로 다른 제2 콘볼루션 계층에 입력하는 과정;상기 제1 콘볼루션 계층에서 출력된 가상 영상과 상기 제2 콘볼루션 계층에서 출력된 실제 영상들을 통합 계층(pooling layer)을 이용하여 정합하는 과정; 및정합된 정보들을 FC 계층(fully connected layer)을 통해 분류하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 과정을 수행하여 상기 실제 영상들 및 로봇의 시계열 동작 정보와 상기 로봇 팔의 상호 작용 힘 간의 상관 관계를 학습하는 상호 작용 힘 예측 방법
8 8
제1항에 있어서, 상기 시계열 동작 정보는,시간의 경과에 따라 변화하는 로봇 팔의 동작을 수행하기 위하여 상기 로봇 팔의 모터가 사용하는 전력의 변화, 상기 로봇 팔의 위치 변화 및 상기 로봇 팔의 동작 변화 중 적어도 하나를 포함하는 상호 작용 힘 예측 방법
9 9
제1항에 있어서, 상기 오브젝트의 물성치(material property)와 예측한 상기 로봇 팔의 상호 작용 힘을 이용하여 햅틱 센싱 정보를 예측하는 단계; 및상기 햅틱 센싱 정보에 따라 상기 로봇 팔의 사용자에게 피드백을 제공하는 단계를 더 포함하는 상호 작용 힘 예측 방법
10 10
오브젝트와 관련된 로봇 팔의 동작을 촬영하여 생성한 실제 영상들과, 상기 로봇 팔의 동작과 관련된 시계열 동작 정보를 획득하는 단계; 상기 실제 영상들 및 상기 시계열 동작 정보를 딥러닝 알고리즘에 입력하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 단계; 예측한 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 센서를 사용하여 측정한 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치와 비교하여 상기 실제 영상들과 상기 시계열 동작 정보, 상기 오브젝트의 물성치 및, 상기 로봇 팔의 상호 작용 힘 간의 상관 관계를 학습하는 단계; 및상기 상관 관계를 데이터베이스에 저장하는 단계를 포함하는 로봇 팔의 힘 학습 방법
11 11
제10항에 있어서, 상기 로봇 팔의 상호 작용 힘을 예측하는 단계는,상기 실제 영상들이 입력되는 CNN를 이용하여 상기 실제 영상들에서 로봇의 동작과 관련된 영역을 추출하는 단계;상기 로봇의 시계열 동작 정보가 입력되는 제1 FC (fully-connected) 계층을 이용하여 상기 로봇의 시계열 동작 정보의 클래스 점수들을 계산하는 단계; 추출한 영역과 상기 시계열 동작 정보의 클래스 점수들을 RNN에 입력하여 시간의 경과에 따라 변화하는 상기 영역과 상기 시계열 동작 정보들 간의 관계를 학습하는 단계; 및상기 RNN의 학습 결과가 입력되는 제2 FC 계층으로 상기 학습 결과의 클래스 점수들을 계산하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 단계를 포함하는 로봇 팔의 힘 학습 방법
12 12
제10항에 있어서, 상기 로봇 팔의 상호 작용 힘을 예측하는 단계는,상기 시계열 동작 정보를 기초로 시간의 경과에 따른 동작 정보의 변화를 그래프 형태로 나타내는 가상 영상을 생성하여 CNN의 제1 콘볼루션 계층에 입력하는 단계;시간의 경과에 따라 누적된 상기 실제 영상들을 상기 제1 콘볼루션 계층과 서로 다른 제2 콘볼루션 계층에 입력하는 단계;상기 제1 콘볼루션 계층에서 출력된 가상 영상과 상기 제2 콘볼루션 계층에서 출력된 실제 영상들을 통합 계층(pooling layer)을 이용하여 정합하는 단계; 및정합된 정보들을 FC 계층(fully connected layer)을 통해 분류하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 단계를 포함하는 로봇 팔의 힘 학습 방법
13 13
시간의 경과에 따른 오브젝트들 간의 상호 작용을 연속으로 촬영하여 생성한 실제 영상을 획득하는 영상 획득부; 시간의 경과에 따른 상기 오브젝트들의 위치 변화 또는 상기 오브젝트들의 변형과 관련된 로봇 팔의 시계열 동작 정보를 획득하는 동작 정보 획득부; 및상기 실제 영상에 포함된 상기 오브젝트들의 위치 변화 또는 상기 오브젝트들의 변형에 기초하여 상기 오브젝트들 간의 상호 작용 힘을 예측하는 힘 예측부를 포함하고,상기 힘 예측부는,상기 실제 영상들, 상기 시계열 동작 정보, 상기 오브젝트의 물성치 및 상기 로봇 팔의 상호 작용 힘 간의 상관 관계의 학습 결과가 저장된 데이터베이스에 상기 실제 영상들, 상기 시계열 동작 정보 및 상기 오브젝트의 물성치를 적용하여 상기 로봇 팔의 상호 작용 힘을 예측하는 상호 작용 힘 예측 장치
14 14
삭제
15 15
삭제
16 16
제13항에 있어서, 상기 시계열 동작 정보는,시간의 경과에 따라 변화하는 로봇 팔의 동작을 수행하기 위하여 상기 로봇 팔의 모터가 사용하는 전력의 변화, 상기 로봇 팔의 위치 변화 및 상기 로봇 팔의 동작 변화 중 적어도 하나를 포함하는 상호 작용 힘 예측 장치
17 17
제13항에 있어서, 상기 오브젝트의 물성치와 예측한 상기 로봇 팔의 상호 작용 힘을 이용하여 햅틱 센싱 정보를 예측하는 햅틱 센싱 정보 예측부; 및상기 햅틱 센싱 정보에 따라 상기 로봇 팔의 사용자에게 피드백을 제공하는 피드백부를 더 포함하는 상호 작용 힘 예측 장치
18 18
오브젝트와 관련된 로봇 팔의 동작을 촬영하여 생성한 실제 영상들과, 상기 로봇 팔의 동작과 관련된 시계열 동작 정보를 획득하는 통신기; 상기 실제 영상들 및 상기 시계열 동작 정보를 딥러닝 알고리즘에 입력하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 힘 예측부; 및예측한 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 센서를 사용하여 측정한 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치와 비교하여 상기 실제 영상들과 상기 시계열 동작 정보, 상기 오브젝트의 물성치 및, 상기 로봇 팔의 상호 작용 힘 간의 상관 관계를 학습하는 상관 관계 학습부를 포함하는 로봇 팔의 힘 학습 장치
19 19
제18항에 있어서, 상기 힘 예측부는,상기 실제 영상들이 입력되는 CNN를 이용하여 상기 실제 영상들에서 로봇의 동작과 관련된 영역을 추출하고, 상기 로봇의 시계열 동작 정보가 입력되는 제1 FC 계층을 이용하여 상기 로봇의 시계열 동작 정보의 클래스 점수들을 계산하며, 추출한 영역과 상기 시계열 동작 정보의 클래스 점수들을 RNN에 입력하여 시간의 경과에 따라 변화하는 상기 영역과 상기 시계열 동작 정보들 간의 관계를 학습하고, 상기 RNN의 학습 결과가 입력되는 제2 FC 계층으로 상기 학습 결과의 클래스 점수들을 계산하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 로봇 팔의 힘 학습 장치
20 20
제18항에 있어서, 상기 힘 예측부는,상기 시계열 동작 정보를 기초로 시간의 경과에 따른 동작 정보의 변화를 그래프 형태로 나타내는 가상 영상을 생성하여 CNN의 제1 콘볼루션 계층에 입력하고, 시간의 경과에 따라 누적된 상기 실제 영상들을 상기 제1 콘볼루션 계층과 서로 다른 제2 콘볼루션 계층에 입력하며, 상기 제1 콘볼루션 계층에서 출력된 가상 영상과 상기 제2 콘볼루션 계층에서 출력된 실제 영상들을 통합 계층을 이용하여 정합하고, 정합된 정보들을 FC 계층을 통해 분류하여 상기 시계열 동작 정보 및 상기 실제 영상에 대응하는 로봇 팔의 상호 작용 힘 및 상기 오브젝트의 물성치를 예측하는 로봇 팔의 힘 학습 장치
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
패밀리 정보가 없습니다

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2019240330 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 삼성전자 미래기술육성센터 삼성전자(주) ICT 창의과제 영상 학습에 기반한 물리적 감각 재현을 위한 Interaction Force 예측 기술 개발