맞춤기술찾기

이전대상기술

물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치(Apparatus and Method of Behavior Recognition based on Object-Behavior Relation Model)

  • 기술번호 : KST2017010213
  • 담당센터 : 서울서부기술혁신센터
  • 전화번호 : 02-6124-6930
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 영상에서 사용자의 행동을 인식하는 방법 및 그 장치에 관한 것이다.본 발명에 따른 행동 인식 장치는 입력 영상에서 적어도 하나 이상의 주요 면을 추출하는 주요 면 추출부; 상기 추출한 주요 면의 의미를 인식하고, 상기 인식한 주요 면의 의미에 따라 상기 추출한 주요 면 별로 발생 가능한 행동 목록을 설정하는 행동 목록 설정부; 및 상기 입력 영상에서 사용자의 행동이 발생한 위치에 대응하는 상기 주요 면을 선택하고, 상기 선택한 주요 면의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 행동 인식부;를 포함할 수 있다.
Int. CL G06K 9/00 (2016.01.22) G06K 9/62 (2016.01.22)
CPC G06K 9/00335(2013.01) G06K 9/00335(2013.01) G06K 9/00335(2013.01) G06K 9/00335(2013.01)
출원번호/일자 1020150176637 (2015.12.11)
출원인 연세대학교 산학협력단
등록번호/일자
공개번호/일자 10-2017-0070298 (2017.06.22) 문서열기
공고번호/일자 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2015.12.11)
심사청구항수 19

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 대한민국 서울특별시 서대문구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 변혜란 대한민국 서울특별시 서대문구
2 임광용 대한민국 서울특별시 서대문구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인우인 대한민국 서울특별시 강남구 역삼로 ***, *층(역삼동, 중평빌딩)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 연세대학교 산학협력단 서울특별시 서대문구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2015.12.11 수리 (Accepted) 1-1-2015-1214045-07
2 의견제출통지서
Notification of reason for refusal
2016.12.16 발송처리완료 (Completion of Transmission) 9-5-2016-0909863-97
3 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2017.02.15 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0155246-05
4 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)
2017.02.15 수리 (Accepted) 1-1-2017-0155247-40
5 등록결정서
Decision to grant
2017.06.27 발송처리완료 (Completion of Transmission) 9-5-2017-0448313-07
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
행동 인식 장치에 있어서,깊이 정보를 포함하는 3차원 입력 영상에서 적어도 하나 이상의 주요 면을 추출하는 주요 면 추출부;상기 추출한 주요 면의 의미를 인식하고, 상기 인식한 주요 면의 의미에 따라 상기 추출한 주요 면 별로 발생 가능한 행동 목록을 설정하는 행동 목록 설정부; 및상기 3차원 입력 영상에서 사용자의 행동이 발생한 위치에 대응하는 상기 주요 면을 선택하고, 상기 선택한 주요 면의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 행동 인식부;를 포함하며,상기 주요 면 추출부는 상기 3차원 입력 영상에 포함된 각 점들에 대하여 소정의 거리 내에 인접하는 점들을 하나의 집합으로 하여 지역적 면을 설정하고, 상기 지역적 면에서의 적어도 하나 이상의 주요 노멀 벡터를 추출하고, 상기 3차원 입력 영상에서 상기 추출한 주요 노멀 벡터에 대응하는 각 영역을 상기 주요 면으로 추출하는 것을 특징으로 하는 행동 인식 장치
2 2
제1항에 있어서,상기 주요 면 추출부는 상기 추출된 주요 면들 중에서 상기 주요 노멀 벡터의 각도에 따라 일부를 선별하는 것을 특징으로 하는 행동 인식 장치
3 3
제2항에 있어서,상기 주요 면 추출부는,상기 3차원 입력 영상에서 지역적 노멀 벡터를 산출하고, 상기 산출한 지역적 노멀 벡터 중에서 상기 주요 노멀 벡터를 결정하는 주요 노멀 벡터 추출부를 포함하는 것을 특징으로 하는 행동 인식 장치
4 4
제3항에 있어서,상기 주요 노멀 벡터 추출부는 상기 3차원 입력 영상의 지역적 면에서의 노멀 벡터를 상기 지역적 노멀 벡터로 산출하고, 상기 산출한 지역적 노멀 벡터들을 클러스터링하고, 상기 클러스터링한 벡터들 중에서 상기 주요 노멀 벡터를 결정하는 것을 특징으로 하는 행동 인식 장치
5 5
제2항에 있어서, 상기 주요 면 추출부는,상기 3차원 입력 영상에서 상기 주요 노멀 벡터를 가지는 화소들을 수집하고, 상기 수집한 화소들을 클러스터링하여 상기 주요 노멀 벡터에 대응하는 상기 주요 면을 추출하는 면 추출부를 포함하는 것을 특징으로 하는 행동 인식 장치
6 6
제1항에 있어서,상기 행동 목록 설정부는 상기 3차원 입력 영상 내에 존재하는 객체의 위치 정보와 상기 객체의 의미 정보를 포함하는 객체 인식 정보를 입력받고, 상기 주요 면의 위치에 대응하는 상기 객체의 의미 정보에 따라 상기 주요 면의 의미를 인식하는 주요 면 인식부를 포함하는 것을 특징으로 하는 행동 인식 장치
7 7
제1항에 있어서,상기 행동 목록 설정부는 물체와 행동 간의 관계를 미리 정의한 물체-행동 관계 모델에서 상기 주요 면의 의미에 대응하는 상기 물체를 검색하고, 상기 검색한 물체와 관계된 행동을 상기 물체-행동 관계 모델에서 추출하여, 상기 추출한 행동에 따라 상기 주요 면의 상기 행동 목록을 설정하는 목록 설정부를 포함하는 것을 특징으로 하는 행동 인식 장치
8 8
제7항에 있어서,상기 물체-행동 관계 모델은 적어도 하나 이상의 상기 물체에 대하여, 각 상기 물체 별로 상기 물체와 관계된 적어도 하나 이상의 상기 행동을 미리 정의한 모델인 것을 특징으로 하는 행동 인식 장치
9 9
제1항에 있어서,상기 3차원 입력 영상 또는 별도의 2차원 입력 영상에서 객체를 검출하고 인식하는 객체 인식부를 더 포함하며,상기 객체 인식부는 상기 검출한 객체의 상기 3차원 입력 영상 내에서의 위치 정보를 설정하고, 상기 인식한 객체의 의미 정보를 설정하는 것을 특징으로 하는 행동 인식 장치
10 10
삭제
11 11
제1항에 있어서, 상기 행동 인식부는,상기 3차원 입력 영상에서 상기 사용자의 행동이 발생한 위치를 검출하는 행동 위치 검출부;상기 사용자의 행동이 발생한 위치에 대응하는 상기 주요 면을 선택하는 주요 면 선택부; 및상기 선택한 주요 면의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 사용자 행동 인식부를 포함하는 것을 특징으로 하는 행동 인식 장치
12 12
제11항에 있어서,상기 주요 면 선택부는 상기 주요 면 추출부에서 추출된 상기 주요 면들 중에서, 상기 사용자의 행동이 발생한 위치와 소정의 거리 이내에 위치하는 상기 주요 면을 선택하는 것을 특징으로 하는 행동 인식 장치
13 13
제11항에 있어서,상기 사용자 행동 인식부는 상기 3차원 입력 영상에서 상기 사용자의 동작 또는 자세를 인식하여 적어도 하나 이상의 후보 행동을 결정하고, 상기 결정한 후보 행동 중에서 상기 행동 목록에 포함된 행동과 대응하는 상기 후보 행동을 선정하여, 상기 사용자의 행동으로 인식하는 것을 특징으로 하는 행동 인식 장치
14 14
행동 인식 장치에 있어서,깊이 정보를 포함하는 3차원 입력 영상에서 적어도 하나 이상의 주요 면을 추출하는 주요 면 추출부;상기 3차원 입력 영상 또는 별도의 2차원 입력 영상에서 적어도 하나 이상의 객체를 검출하고 인식하는 객체 인식부;상기 인식한 객체에 관하여 발생 가능한 행동 목록을 설정하는 행동 목록 설정부; 및상기 3차원 입력 영상에서 사용자의 행동이 발생한 위치에 대응하는 상기 객체를 선택하고, 상기 선택한 객체의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 행동 인식부;를 포함하며,상기 주요 면 추출부는 상기 3차원 입력 영상에 포함된 각 점들에 대하여 소정의 거리 내에 인접하는 점들을 하나의 집합으로 하여 지역적 면을 설정하고, 상기 지역적 면에서의 적어도 하나 이상의 주요 노멀 벡터를 추출하고, 상기 3차원 입력 영상에서 상기 추출한 주요 노멀 벡터에 대응하는 각 영역을 상기 주요 면으로 추출하는 것을 특징으로 하는 행동 인식 장치
15 15
제14항에 있어서,상기 행동 목록 설정부는 물체와 행동 간의 관계를 미리 정의한 물체-행동 관계 모델에서 상기 인식한 객체에 대응하는 상기 물체를 검색하고, 상기 검색한 물체와 관계된 행동을 상기 물체-행동 관계 모델에서 추출하여, 상기 추출한 행동에 따라 상기 객체의 상기 행동 목록을 설정하는 것을 특징으로 하는 행동 인식 장치
16 16
제14항에 있어서,상기 행동 인식부는,상기 3차원 입력 영상에서 상기 사용자의 행동이 발생한 위치를 검출하는 행동 위치 검출부;상기 사용자의 행동이 발생한 위치에 대응하는 상기 객체를 선택하는 객체 선택부; 및상기 선택한 객체의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 사용자 행동 인식부를 포함하는 것을 특징으로 하는 행동 인식 장치
17 17
제16항에 있어서,상기 객체 선택부는 상기 3차원 입력 영상의 상기 객체들 중에서, 상기 사용자의 행동이 발생한 위치와 소정의 거리 이내에 위치하는 상기 객체를 선택하는 것을 특징으로 하는 행동 인식 장치
18 18
제16항에 있어서,상기 사용자 행동 인식부는 상기 3차원 입력 영상에서 상기 사용자의 동작 또는 자세를 인식하여 적어도 하나 이상의 후보 행동을 결정하고, 상기 결정한 후보 행동 중에서 상기 행동 목록에 포함된 행동과 대응하는 상기 후보 행동을 선정하여, 상기 사용자의 행동으로 인식하는 것을 특징으로 하는 행동 인식 장치
19 19
행동 인식 방법에 있어서,깊이 정보를 포함하는 3차원 입력 영상에서 적어도 하나 이상의 주요 면을 추출하는 주요 면 추출 단계;상기 추출한 주요 면의 의미를 인식하고, 상기 인식한 주요 면의 의미에 따라 상기 추출한 주요 면 별로 발생 가능한 행동 목록을 설정하는 행동 목록 설정 단계; 및상기 3차원 입력 영상에서 사용자의 행동이 발생한 위치에 대응하는 상기 주요 면을 선택하고, 상기 선택한 주요 면의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 행동 인식 단계;를 포함하며,상기 주요 면 추출 단계는 상기 3차원 입력 영상에 포함된 각 점들에 대하여 소정의 거리 내에 인접하는 점들을 하나의 집합으로 하여 지역적 면을 설정하고, 상기 지역적 면에서의 적어도 하나 이상의 주요 노멀 벡터를 추출하고, 상기 3차원 입력 영상에서 상기 추출한 주요 노멀 벡터에 대응하는 각 영역을 상기 주요 면으로 추출하는 것을 특징으로 하는 행동 인식 방법
20 20
행동 인식 방법에 있어서,깊이 정보를 포함하는 3차원 입력 영상에서 적어도 하나 이상의 주요 면을 추출하는 주요 면 단계;상기 3차원 입력 영상 또는 별도의 2차원 입력 영상에서 적어도 하나 이상의 객체를 검출하고 인식하는 객체 인식 단계;상기 인식한 객체에 관하여 발생 가능한 행동 목록을 설정하는 행동 목록 설정 단계; 및상기 3차원 입력 영상에서 사용자의 행동이 발생한 위치에 대응하는 상기 객체를 선택하고, 상기 선택한 객체의 상기 행동 목록에 기초하여 상기 사용자의 행동을 인식하는 행동 인식 단계;를 포함하며,상기 주요 면 추출 단계는 상기 3차원 입력 영상에 포함된 각 점들에 대하여 소정의 거리 내에 인접하는 점들을 하나의 집합으로 하여 지역적 면을 설정하고, 상기 지역적 면에서의 적어도 하나 이상의 주요 노멀 벡터를 추출하고, 상기 3차원 입력 영상에서 상기 추출한 주요 노멀 벡터에 대응하는 각 영역을 상기 주요 면으로 추출하는 것을 특징으로 하는 행동 인식 방법
지정국 정보가 없습니다
순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - 패밀리정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2017099292 WO 세계지적재산권기구(WIPO) FAMILY

DOCDB 패밀리 정보

순번, 패밀리번호, 국가코드, 국가명, 종류의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 패밀리정보 - DOCDB 패밀리 정보 표입니다.
순번 패밀리번호 국가코드 국가명 종류
1 WO2017099292 WO 세계지적재산권기구(WIPO) DOCDBFAMILY
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 미래창조과학부 연세대학교 산학협력단 중견연구자지원사업 장면 요소 정보 간 관련성 분석을 통한 영상 장면 해석 기술 연구(3/3)(2013.6.1~2016.5.31)