맞춤기술찾기

이전대상기술

3D 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템

  • 기술번호 : KST2021008738
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정하기 위한 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 동작 인식 방법은 현재 프레임에서 사람을 검출하는 단계; 검출된 사람의 관절들을 추출하는 단계; 추출한 관절들을 다수의 관절 집합들로 분류하는 단계; 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계; 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계; 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여, 사람의 동작을 추론하는 단계;를 포함한다. 이에 의해, 연속된 2D 영상으로부터 사용자의 3D 관절 정보를 추출하고, 골격의 공간적 특징을 계산한 후에 동작 구간 내에서 각 관절의 위치 변화로 나타나는 시간적 특징을 부가하여 사용자의 동작을 인식함으로써, 3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정할 수 있게 된다.
Int. CL G06K 9/00 (2006.01.01) G06K 9/62 (2006.01.01) G06K 9/46 (2006.01.01) G06F 3/01 (2006.01.01) G06N 3/08 (2006.01.01) G06T 7/50 (2017.01.01)
CPC G06K 9/00335(2013.01) G06K 9/00885(2013.01) G06K 9/00201(2013.01) G06K 9/6267(2013.01) G06K 9/46(2013.01) G06F 3/011(2013.01) G06N 3/08(2013.01) G06T 7/50(2013.01) G06T 2207/20044(2013.01)
출원번호/일자 1020190171440 (2019.12.20)
출원인 한국전자기술연구원
등록번호/일자
공개번호/일자 10-2021-0079542 (2021.06.30) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.02.21)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 한국전자기술연구원 대한민국 경기도 성남시 분당구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 김성흠 서울특별시 강남구
2 류한나 인천광역시 부평구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 남충우 대한민국 서울 강남구 언주로 ***, *층(역삼동, 광진빌딩)(알렉스국제특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2019.12.20 수리 (Accepted) 1-1-2019-1319347-13
2 [심사청구]심사청구(우선심사신청)서
[Request for Examination] Request for Examination (Request for Preferential Examination)
2020.02.21 수리 (Accepted) 1-1-2020-0186536-49
3 출원인정보변경(경정)신고서
Notification of change of applicant's information
2020.08.24 수리 (Accepted) 4-1-2020-5189497-57
4 선행기술조사의뢰서
Request for Prior Art Search
2021.02.18 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2021.04.15 발송처리완료 (Completion of Transmission) 9-6-2021-0093235-13
6 의견제출통지서
Notification of reason for refusal
2021.05.21 발송처리완료 (Completion of Transmission) 9-5-2021-0405466-59
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
현재 프레임에서 사람을 검출하는 단계;검출된 사람의 관절들을 추출하는 단계;추출한 관절들을 다수의 관절 집합들로 분류하는 단계;분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여, 사람의 동작을 추론하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법
2 2
청구항 1에 있어서,분류 단계는,추출한 관절들의 물리적 연결성을 고려하여, 추출한 관절들을 재배치하는 단계;재배치된 관절들을 다수의 관절 집합들로 분류하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법
3 3
청구항 2에 있어서,추출 단계는,3D 관절 좌표들을 추출하고,분류 단계는,추출된 3D 관절 좌표들을 정규화하는 단계;정규화된 3D 관절 좌표들로부터 골격의 무게 중심을 계산하는 단계;를 더 포함하고,계산된 무게 중심을 중심으로, 관절들의 물리적 연결성을 고려하여 관절들을 재배치하며,계산된 무게 중심을 기준으로, 재배치된 관절들을 다수의 관절 집합들로 분류하는 것을 특징으로 하는 동작 인식 방법
4 4
청구항 1에 있어서,골격의 공간적 특징 계산단계는,분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하는 것을 특징으로 하는 동작 인식 방법
5 5
청구항 4에 있어서,물리적 거리 정보는,관절들 간의 상대적 거리 값이고,내재적 거리 정보는,관절들이 포함된 관절 집합들의 관계에 의해 결정되는 것을 특징으로 하는 동작 인식 방법
6 6
청구항 1에 있어서,시-공간적 특징 산출단계는,현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화를 공간적 특징에 반영하여 시-공간적 특징을 산출하는 것을 특징으로 하는 동작 인식 방법
7 7
청구항 6에 있어서,시-공간적 특징 산출단계는,추출된 관절들 중 핵심 관절을 선정하는 단계;핵심 관절의 프레임 간 위치 변화를 계산하는 단계;계산된 위치 변화를 참조로, 사람의 동작을 구분 짓는 핵심 프레임들을 선정하는 단계;선정된 핵심 프레임들을 기준으로, 시간 윈도우를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 동작 인식 방법
8 8
청구항 7에 있어서,선정 단계는,골격의 끝 관절들을 핵심 관절로 선정하는 것을 특징으로 하는 동작 인식 방법
9 9
청구항 6에 있어서,시-공간적 특징 산출단계는,현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화가 큰 순서 대로 N개의 프레임을 추출하고, 추출된 프레임들을 이용하여 산출한 시-공간적 특징들을 하나로 결합하는 것을 특징으로 하는 동작 인식 방법
10 10
영상을 생성하는 카메라;영상의 현재 프레임에서 사람을 검출하고, 검출된 사람의 관절들을 추출하며, 추출한 관절들을 다수의 관절 집합들로 분류하고, 분류된 관절 집합 간의 거리 정보를 기초로 골격의 공간적 특징을 계산하고, 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하며, 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여 사람의 동작을 추론하는 컴퓨팅 시스템;을 포함하는 것을 특징으로 하는 동작 인식 시스템
11 11
현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계;분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법
12 12
현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계;분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 산업통상자원부 (주)아이피엘 로봇산업핵심기술개발(R&D) 가정용 소셜로봇 및 서비스 시스템 개발