맞춤기술찾기

홈으로 가기
맞춤기술찾기
이전대상기술
프린트하기

이전대상기술

행위 인식 장치 및 방법

  • 기술번호 : KST2019031869
  • 담당센터 : 서울동부기술혁신센터
  • 전화번호 : 02-2155-3662
상담신청 PDF 받기
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 행위 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 영상 내에 존재하는 대상 검출 및 추적 정보를 이용하여 대상의 복수의 행위를 인식하는 행위 인식 장치 및 방법에 관한 것이다.
Int. CL G06K 9/00 (2006.01.01) G06F 3/01 (2006.01.01)
CPC G06K 9/00355(2013.01) G06K 9/00355(2013.01) G06K 9/00355(2013.01) G06K 9/00355(2013.01)
출원번호/일자 1020160141360 (2016.10.27)
출원인 동국대학교 산학협력단
등록번호/일자 10-1771655-0000 (2017.08.21)
공개번호/일자
공고번호/일자 (20170905) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2016.10.27)
심사청구항수 16

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 대한민국 서울특별시 중구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 박강령 대한민국 서울특별시 강남구
2 홍형길 대한민국 서울특별시 양천구
3 간바야르 몽고 대전광역시 서구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 특허법인이지 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동, KCC웰츠밸리) ***-***

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 동국대학교 산학협력단 서울특별시 중구
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application		 2016.10.27 수리 (Accepted) 1-1-2016-1049515-62
2 의견제출통지서
Notification of reason for refusal		 2017.02.14 발송처리완료 (Completion of Transmission) 9-5-2017-0113082-87
3 [거절이유 등 통지에 따른 의견]의견(답변, 소명)서
[Opinion according to the Notification of Reasons for Refusal] Written Opinion(Written Reply, Written Substantiation)		 2017.04.14 수리 (Accepted) 1-1-2017-0368674-62
4 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment		 2017.04.14 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2017-0368714-01
5 등록결정서
Decision to grant		 2017.08.16 발송처리완료 (Completion of Transmission) 9-5-2017-0566968-15
6 출원인정보변경(경정)신고서
Notification of change of applicant's information		 2019.08.16 수리 (Accepted) 4-1-2019-5163486-33
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
삭제
2 2
삭제
3 3
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부; 및복수의 대상들에 대한 대상 행위 인식 결과가 있을 때 복수의 대상 간의 상호간 행위의 유무를 판단하는 대상 상호 행위 인식부를 포함하되,상기 대상 상호 행위 인식부는 복수의 대상 행위 인식 결과 중 걷기나 뛰기가 있는 경우 대상의 행위가 상호 간의 행위가 있었다고 판단하고, 복수의 대상 사이의 거리 변화 정보가 미리 정의된 거리 변화 임계치보다 큰 경우 상호 간의 행위를 멀어지기로 판단하고, 작은 경우 접근하기로 판단하는 행위 인식 장치
4 4
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부를 포함하되,상기 대상체 정보 생성부는 상기 입력된 영상이 가시광선 영상이면, 가시광선 배경 영상을 생성하고, 생성한 가시광선 배경 영상과 입력된 가시광선 영상의 차영상을 이용하여 가시광선 대상 후보 영역을 검출한 후, 가시광선 대상 후보 영역에서 그림자 영역 및 노이즈를 제거하여 최종적인 가시광선 대상 영역을 검출하는 대상체 영역 검출부를 포함하는 행위 인식 장치
5 5
제4항에 있어서, 상기 대상체 영역 검출부는상기 입력된 영상이 열화상 영상이면, 열화상 배경 영상을 생성하고, 생성한 열화상 배경영상과 입력된 열화상 영상의 차 영상을 이용하여 열화상 대상 후보영역을 검출한 후, 상기 열화상 대상 후보영역에서 노이즈를 제거하고, 열화상 대상 후보영역을 보정하여 최종적인 열화상 대상 영역을 검출하는 행위 인식 장치
6 6
제4항에 있어서, 상기 대상체 정보 생성부는 가시광선 대상 영역 및 열화상 대상 영역을 결합하여 결합 대상 영역 정보를 생성하고, 상기 입력된 영상의 입력 시간이나 각 영상의 품질을 확인하여 각 영상에서 검출된 대상 영역을 선택적으로 활용하거나 가중치를 다르게 하여 결합함으로써 결합된 대상 영역을 가시광선 및 열화상 영상 내에 표현하는 대상 영역 결합부를 더 포함하는 행위 인식 장치
7 7
제4항에 있어서, 상기 대상체 정보 생성부는가시광선 대상 영역 또는 열화상 대상 영역 정보를 바탕으로 대상을 추적하여 N개의 프레임마다 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 포함하는 대상체 정보를 생성하는 대상 추적부를 더 포함하는 행위 인식 장치
8 8
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부를 포함하되,상기 제1 특징 추출부는 상기 대상체 정보에 포함된 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 갖는 사각형의 중심점을 산출하고, N개의 프레임 마다 산출된 N개의 중심점을 1번째 중심점 X축 좌표 위치와 N번째 중심점 X축 좌표 위치와의 변위를 바탕으로 대상체 속도(SB)를 산출하는 대상체 속도 산출부;상기 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 갖는 사각형 내의 전경 크기(BB) 및 배경 크기(FB)를 생성하여, 전경 크기를 배경 크기로 나누어 배경 및 전경 비율(Rs)을 산출하는 배경 및 전경 비율 산출부; 및상기 대상 영역의 세로 길이(HB)를 상기 가로 길이(WB)로 나누어 대상체 비율(RB)을 산출하는 대상체 비율 산출부를 포함하는 행위 인식 장치
9 9
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부를 포함하되,상기 제1 행위 인식부는 이전 프레임에서 대상체의 행위 인식 결과가 눕기, 앉기, 서기, 걷기 및 뛰기 중 어느 하나의 행위로 인식될 예측 확률을 산출하는 제1 행위 예측부;상기 제1 특징 추출부에서 추출된 대상체 속도(SB), 대상체 비율(RB), 배경 및 전경 비율(Rs)을 이용하여 현재 프레임에서 대상체의 행위가 눕기, 앉기, 서기, 걷기 및 뛰기 중 어느 하나의 행위로 분류될 퍼지 확률을 산출하는 제1 퍼지 분류부; 및 상기 제1 행위 예측부에서 산출된 예측 확률과 상기 제1 퍼지 분류부에서 산출된 퍼지 확률을 결합하여 최종적인 제1 행위를 판단하는 제2 퍼지 분류부를 포함하는 행위 인식 장치
10 10
삭제
11 11
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부를 포함하되,상기 제2 특징 추출부는 상기 손발 위치 산출부에서 손 또는 발의 끝 점이 산출되면, 손 또는 발의 끝 점을 이용하여 X축의 길이 및 Y축의 길이를 산출하고, Y축의 길이를 X축의 길이로 나누어 팔다리 비율을 산출하는 팔다리 비율 산출부; 및N개의 프레임에서 대상 영상들 중 일부 P개의 영상들에서 손의 X축 위치 좌표의 변위 정보를 누적하여 각도를 산출하는 각도 산출부를 더 포함하는 행위 인식 장치
12 12
행위 인식 장치에 있어서,입력된 영상에서 대상체 정보를 생성하는 대상체 정보 생성부;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징을 추출하는 제1 특징 추출부;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식부;상기 대상체 정보를 이용하여 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출부; 상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식부를 포함하되,제2 행위 인식부는이전 프레임(t-n)에서 대상체의 행위 인식 결과가 손 흔들기, 주먹 찌르기, 발차기 중 어느 하나의 행위로 인식될 예측 확률을 산출하는 제2 행위 예측부;상기 제2 행위 예측부에서 산출된 예측 확률과 제2 특징 추출부에서 산출된 팔다리 비율 및 각도를 이용하여 현재 프레임에서 대상체의 행위를 손 흔들기, 주먹 찌르기 및 발차기 중 어느 하나의 행위로 인식하는 제3 퍼지 분류부를 포함하는 행위 인식 장치
13 13
삭제
14 14
행위 인식 방법에 있어서,대상체 정보를 생성하는 단계;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징 추출 단계;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식 단계;상기 대상체 정보를 이용하여 대상체의 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출 단계; 및상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식 단계를 포함하되,상기 대상체 정보를 생성하는 단계는입력된 영상의 배경 영상을 생성하고, 생성한 배경 영상과 입력된 영상의 차영상을 이용하여 대상 후보 영역을 검출한 후, 상기 대상 후보 영역에서 그림자 영역 및 노이즈를 제거하여 최종적인 대상 영역을 검출하는 행위 인식 방법
15 15
제14항에 있어서, 상기 대상체 정보를 생성하는 단계는N개의 프레임마다 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 포함하여 대상체 정보를 생성하는 행위 인식 방법
16 16
행위 인식 방법에 있어서,대상체 정보를 생성하는 단계;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징 추출 단계;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식 단계;상기 대상체 정보를 이용하여 대상체의 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출 단계; 및상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식 단계를 포함하되,상기 제1 특징 추출 단계는상기 대상체 정보에 포함된 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 갖는 사각형의 중심점을 산출하고, N개의 프레임 마다 산출된 N개의 중심점을 1번째 중심점 X축 좌표 위치와 N번째 중심점 X축 좌표 위치와의 변위를 바탕으로 대상체 속도(SB)를 산출하는 단계;상기 대상 영역의 세로 길이(HB)와 가로 길이(WB)를 갖는 사각형 내의 전경 크기(BB) 및 배경 크기(FB)를 생성하여, 전경 크기를 배경 크기로 나누어 배경 및 전경 비율(Rs)을 산출하는 단계; 및상기 대상 영역의 세로 길이(HB)를 상기 가로 길이(WB)로 나누어 대상체 비율(RB)을 산출하는 단계를 포함하는 행위 인식 방법
17 17
행위 인식 방법에 있어서,대상체 정보를 생성하는 단계;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징 추출 단계;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식 단계;상기 대상체 정보를 이용하여 대상체의 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출 단계; 및상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식 단계를 포함하되,상기 제1 행위 인식 단계는이전 프레임에서 대상체의 행위 인식 결과가 눕기, 앉기, 서기, 걷기 및 뛰기 중 어느 하나의 행위로 인식될 예측 확률을 산출하는 단계;상기 대상체 속도, 대상체 비율, 배경 및 전경 비율을 이용하여 현재 프레임에서 대상체의 행위가 눕기, 앉기, 서기, 걷기 및 뛰기 중 어느 하나의 행위로 분류될 퍼지 확률을 산출하는 단계; 및상기 이전 프레임에서 예측 확률과 상기 현재 프레임에서 퍼지 확률을 결합하여 최종적인 제1 행위를 판단하는 단계를 포함하는 행위 인식 방법
18 18
행위 인식 방법에 있어서,대상체 정보를 생성하는 단계;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징 추출 단계;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식 단계;상기 대상체 정보를 이용하여 대상체의 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출 단계; 및상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식 단계를 포함하되,상기 제2 특징 추출 단계는상기 대상체 정보를 기반으로 PbD (Project based Distance) 방법을 이용하여 N개의 프레임마다 대상체의 손 또는 발의 끝 점을 산출하는 단계;상기 손 또는 발의 끝 점이 산출되면, 손 또는 발의 끝 점을 이용하여 X축의 길이 및 Y축의 길이를 산출하고, Y축의 길이를 X축의 길이로 나누어 팔다리 비율을 산출하는 단계; 및N개의 프레임에서 대상 영상들 중 일부 P개의 영상들에서 손의 X축 위치 좌표의 변위 정보를 누적하여 각도를 산출하는 단계를 포함하는 행위 인식 방법
19 19
행위 인식 방법에 있어서,대상체 정보를 생성하는 단계;상기 대상체 정보를 이용하여 대상체 속도, 대상체 비율, 대상체 배경 및 전경 비율을 포함하는 제1 특징 추출 단계;상기 제1 특징을 이용하여 눕기, 앉기, 서기, 걷기, 뛰기 중 어느 하나의 행위를 인식하는 제1 행위 인식 단계;상기 대상체 정보를 이용하여 대상체의 손발 위치, 팔다리 비율 및 각도 중 적어도 하나를 포함하는 제2 특징을 추출하는 제2 특징 추출 단계; 및상기 제2 특징을 이용하여 손 흔들기, 발차기, 주먹 찌르기 중 어느 하나의 행위를 인식하는 제2 행위 인식 단계를 포함하되,상기 제2 행위 인식 단계는이전 프레임에서 대상체의 행위 인식 결과가 손 흔들기, 주먹 찌르기, 발차기 중 어느 하나의 행위로 인식될 예측 확률을 산출하는 단계; 및상기 이전 프레임에서 예측 확률과 상기 팔다리 비율 및 각도를 이용하여 현재 프레임에서 대상체의 행위를 손 흔들기, 주먹 찌르기, 발차기 중 어느 하나의 행위로 인식하는 단계를 포함하는 행위 인식 방법
20 20
제14항 내지 제19항 중 어느 하나의 영상의 행위 인식 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 교육부 동국대학교 산학협력단 이공학개인기초연구지원사업(기본) 시선 위치, 눈 반응, 감정 및 행태 분석 기반 운전자 감성 인지 자동차 기술 개발[1/3]
2 미래창조과학부 동국대학교 산학협력단 대학ICT연구센터육성지원사업 소환현실기반 콘텐츠 제작을 위한 실감형 인터랙션 NUI/NUX 플랫폼 기술 개발 [4/4]