맞춤기술찾기

이전대상기술

얼굴인식과 동작인식을 활용한 지능형 버추얼 피트니스 시스템 및 그 동작 방법

  • 기술번호 : KST2022010703
  • 담당센터 : 대구기술혁신센터
  • 전화번호 : 053-550-1450
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 피트니스 센터에 설치된 복수의 카메라를 이용하여 입력되는 영상을 분석함에 따라 사용자에게 맞춤형으로 피트니스 코칭 정보를 제공할 수 있는 기술에 관한 것으로, 본 발명의 일실시예에 따르면 피트니스 서버는 복수의 카메라를 이용하여 사용자와 관련된 영상 정보를 수집하는 정보 수집부, 상기 수집된 영상 정보를 기계학습하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하는 인공지능 처리부 및 사용자 단말로 상기 생성된 동선 안내 정보 및 코칭 정보를 제공하는 피드백 정보 제공부를 포함할 수 있다.
Int. CL G06Q 50/22 (2018.01.01) G06K 9/00 (2022.01.01) G06N 20/00 (2019.01.01) G06Q 50/10 (2012.01.01) A63B 24/00 (2006.01.01) G06K 9/62 (2022.01.01) G06T 7/20 (2017.01.01)
CPC G06Q 50/22(2013.01) G06V 40/172(2013.01) G06N 20/00(2013.01) G06Q 50/10(2013.01) A63B 24/0075(2013.01) A63B 24/0006(2013.01) G06V 40/23(2013.01) G06K 9/62(2013.01) G06T 7/20(2013.01) H04N 7/18(2013.01) A63B 2225/15(2013.01) A63B 2220/806(2013.01)
출원번호/일자 1020200154184 (2020.11.18)
출원인 재단법인대구경북과학기술원
등록번호/일자 10-2416987-0000 (2022.06.30)
공개번호/일자 10-2022-0068282 (2022.05.26) 문서열기
공고번호/일자 (20220706) 문서열기
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 등록
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2020.11.18)
심사청구항수 12

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 재단법인대구경북과학기술원 대한민국 대구 달성군 현

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 이상헌 대구광역시 수성구
2 김현덕 대구광역시 북구
3 손명규 대구광역시 수성구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김연권 대한민국 서울특별시 송파구 법원로 ***, ****/****호(문정동, 문정대명벨리온)(시안특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
1 재단법인대구경북과학기술원 대구 달성군 현
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2020.11.18 수리 (Accepted) 1-1-2020-1234636-01
2 제8조에 따른 지식재산포인트 부여 신청서
2020.12.21 수리 (Accepted) 1-1-2020-1389088-70
3 수수료 반환 안내서
Notification of Return of Official Fee
2020.12.22 발송처리완료 (Completion of Transmission) 1-5-2020-0195011-96
4 선행기술조사의뢰서
Request for Prior Art Search
2021.04.16 수리 (Accepted) 9-1-9999-9999999-89
5 선행기술조사보고서
Report of Prior Art Search
2021.07.15 발송처리완료 (Completion of Transmission) 9-6-2021-0129067-16
6 의견제출통지서
Notification of reason for refusal
2022.01.27 발송처리완료 (Completion of Transmission) 9-5-2022-0079492-67
7 [명세서등 보정]보정서
[Amendment to Description, etc.] Amendment
2022.03.14 보정승인간주 (Regarded as an acceptance of amendment) 1-1-2022-0274170-09
8 [거절이유 등 통지에 따른 의견]의견서·답변서·소명서
2022.03.14 수리 (Accepted) 1-1-2022-0274169-52
9 등록결정서
Decision to grant
2022.06.27 발송처리완료 (Completion of Transmission) 9-5-2022-0471745-19
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
얼굴인식과 동작인식을 활용한 피트니스 서버에 있어서,복수의 카메라를 이용하여 사용자와 관련된 영상 정보를 수집하는 정보 수집부;상기 수집된 영상 정보를 기계학습하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하는 인공지능 처리부; 및사용자 단말로 상기 생성된 동선 안내 정보 및 코칭 정보를 제공하는 피드백 정보 제공부를 포함하고,상기 정보 수집부는상기 복수의 카메라 중 피트니스 센터의 천장 또는 벽의 상부에 설치된 적어도 하나의 카메라를 통해 상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하고, 상기 복수의 카메라 중 상기 피트니스 센터 내 복수의 운동 기구 각각에 설치된 카메라를 통해 상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하며,상기 인공지능 처리부는상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 얼굴을 인식하여 상기 신원 정보를 파악한 후 사용자의 등록 고객 여부를 결정하고, 상기 사용자의 위치 변화를 인식하여 결정된 상기 동선 정보를 결정한 후, 복수의 운동 기구들 중 공석 상태의 운동기구를 결정하여 상기 동선 안내 정보를 생성하며, 상기 사용자의 동작 변화를 인식하여 상기 동작 정보와 관련된 상기 코칭 정보를 생성하고, 상기 복수의 운동 기구들 각각에 설치된 센서의 센싱 정보와 상기 복수의 카메라를 통해 수집된 상기 복수의 운동 기구들에 대한 영상 정보를 기계학습하여 가중치의 합을 도출하고, 상기 도출된 가중치의 합에 기반하여 상기 공석 상태의 운동기구를 결정하며, 상기 사용자가 상기 등록 고객으로 결정될 경우, 상기 사용자의 운동 기록(history) 및 상기 사용자에 대해 미리 계획된 운동 루틴(routine) 중 적어도 하나에 기반하여 상기 동선 안내 정보를 갱신하되, 상기 운동 루틴(routine)에서 상기 복수의 운동 기구들 중 제1 운동 기구를 이용한 운동 수행이더라도 상기 제1 운동 기구가 공석 상태가 아닌 경우, 다음 차례에 이용할 제2 운동 기구로 안내하도록 상기 갱신된 동선 안내 정보를 추가적으로 갱신하는 것을 특징으로 하는피트니스 서버
2 2
삭제
3 3
삭제
4 4
제1항에 있어서,상기 인공지능 처리부는상기 등록 고객으로 결정된 사용자에게 식별 번호를 부여하고, 상기 부여된 식별 번호를 고려하여 상기 동선 안내 정보 및 상기 코칭 정보를 생성하는 것을 특징으로 하는피트니스 서버
5 5
제1항에 있어서,상기 인공지능 처리부는상기 기계 학습된 영상 정보에 기반하여 헤드 위치에서 상기 얼굴을 검출하고, 상기 검출된 얼굴의 임베딩을 추출한 후 얼굴인식을 수행하는 것을 특징으로 하는 피트니스 서버
6 6
삭제
7 7
삭제
8 8
제1항에 있어서,상기 인공지능 처리부는상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 동작과 관련된 각 관절 후보에 대한 히트 맵(heat map)을 생성하고, 상기 각 관절 후보에 대한 연결성을 확보에 따른 관절 좌표를 결정하며, 상기 결정된 관절 좌표의 변화에 따른 상기 동작 정보를 결정하는 것을 특징으로 하는피트니스 서버
9 9
제8항에 있어서,상기 인공지능 처리부는상기 결정된 동작 정보와 상기 복수의 운동 기구 각각에 대하여 미리 결정된 동작 정보를 기계학습하여 운동 횟수를 카운팅하거나 자세 불일치를 결정하는 것을 특징으로 하는피트니스 서버
10 10
제9항에 있어서,상기 인공지능 처리부는상기 자세 불일치로 결정될 경우, 자세 교정과 관련된 코칭 정보를 생성하는 것을 특징으로 하는피트니스 서버
11 11
제1항에 있어서,상기 인공지능 처리부는상기 표정 정보에 기반하여 상기 사용자의 표정 변화를 인식하고, 상기 인식된 표정 변화에 따라 격려 정보를 생성하는 것을 특징으로 하는 피트니스 서버
12 12
얼굴인식과 동작인식을 활용한 지능형 버추얼 피트니스 시스템에 있어서,복수의 카메라를 이용하여 사용자와 관련된 영상 정보를 수집하고, 상기 수집된 영상 정보를 분석하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하며, 사용자 단말로 상기 생성된 동선 안내 정보 및 코칭 정보를 제공하는 피트니스 서버; 및코칭 어플리케이션을 통해 상기 피트니스 서버와 연결되고, 상기 생성된 동선 안내 정보 및 상기 코칭 정보를 상기 사용자에게 제공하는 사용자 단말을 포함하고,상기 피트니스 서버는상기 복수의 카메라 중 피트니스 센터의 천장 또는 벽의 상부에 설치된 적어도 하나의 카메라를 통해 상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하고, 상기 복수의 카메라 중 상기 피트니스 센터 내 복수의 운동 기구 각각에 설치된 카메라를 통해 상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하며, 상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 얼굴을 인식하여 상기 신원 정보를 파악한 후 사용자의 등록 고객 여부를 결정하고, 상기 사용자의 위치 변화를 인식하여 결정된 상기 동선 정보를 결정한 후, 복수의 운동 기구들 중 공석 상태의 운동기구를 결정하여 상기 동선 안내 정보를 생성하며, 상기 사용자의 동작 변화를 인식하여 상기 동작 정보와 관련된 상기 코칭 정보를 생성하고, 상기 복수의 운동 기구들 각각에 설치된 센서의 센싱 정보와 상기 복수의 카메라를 통해 수집된 상기 복수의 운동 기구들에 대한 영상 정보를 기계학습하여 가중치의 합을 도출하고, 상기 도출된 가중치의 합에 기반하여 상기 공석 상태의 운동기구를 결정하며, 상기 사용자가 상기 등록 고객으로 결정될 경우, 상기 사용자의 운동 기록(history) 및 상기 사용자에 대해 미리 계획된 운동 루틴(routine) 중 적어도 하나에 기반하여 상기 동선 안내 정보를 갱신하되, 상기 운동 루틴(routine)에서 상기 복수의 운동 기구들 중 제1 운동 기구를 이용한 운동 수행이더라도 상기 제1 운동 기구가 공석 상태가 아닌 경우, 다음 차례에 이용할 제2 운동 기구로 안내하도록 상기 갱신된 동선 안내 정보를 추가적으로 갱신하는 것을 특징으로 하는피트니스 시스템
13 13
삭제
14 14
삭제
15 15
삭제
16 16
제12항에 있어서,상기 피트니스 서버는상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 동작과 관련된 각 관절 후보에 대한 히트 맵(heat map)을 생성하고, 상기 각 관절 후보에 대한 연결성을 확보에 따른 관절 좌표를 결정하며, 상기 결정된 관절 좌표의 변화에 따른 상기 동작 정보를 결정하되, 상기 결정된 동작 정보와 상기 복수의 운동 기구 각각에 대하여 미리 결정된 동작 정보를 기계학습하여 운동 횟수를 카운팅하거나 자세 불일치를 결정하고, 상기 자세 불일치로 결정될 경우, 자세 교정과 관련된 코칭 정보를 생성하는 것을 특징으로 하는피트니스 시스템
17 17
제12항에 있어서,상기 사용자 단말은상기 코칭 어플리케이션의 TTS(Text To Speech) 기능을 이용하여 상기 생성된 동선 안내 정보 및 상기 코칭 정보를 음성으로 상기 사용자에게 제공하는 것을 특징으로 하는피트니스 시스템
18 18
얼굴인식과 동작인식을 활용한 피트니스 서버의 동작 방법에 있어서,정보 수집부에서, 복수의 카메라를 이용하여 사용자와 관련된 영상 정보를 수집하는 단계;인공 지능 처리부에서, 상기 수집된 영상 정보를 분석하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하는 단계; 및피드백 정보 제공부에서, 사용자 단말로 상기 생성된 동선 안내 정보 및 코칭 정보를 제공하는 단계를 포함하고,상기 복수의 카메라를 이용하여 사용자와 관련된 영상 정보를 수집하는 단계는,상기 복수의 카메라 중 피트니스 센터의 천장 또는 벽의 상부에 설치된 적어도 하나의 카메라를 통해 상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하는 단계; 및상기 복수의 카메라 중 상기 피트니스 센터 내 복수의 운동 기구 각각에 설치된 카메라를 통해 상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 수집하는 단계를 포함하고,상기 수집된 영상 정보를 분석하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하는 단계는상기 사용자의 얼굴, 위치 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 얼굴을 인식하여 상기 신원 정보를 파악한 후 사용자의 등록 고객 여부를 결정하는 단계;상기 사용자의 위치 변화를 인식하여 결정된 상기 동선 정보를 결정한 후, 복수의 운동 기구들 중 공석 상태의 운동기구를 결정하여 상기 동선 안내 정보를 생성하는 단계;상기 사용자의 동작 변화를 인식하여 상기 동작 정보와 관련된 상기 코칭 정보를 생성하는 단계;상기 복수의 운동 기구들 각각에 설치된 센서의 센싱 정보와 상기 복수의 카메라를 통해 수집된 상기 복수의 운동 기구들에 대한 영상 정보를 기계학습하여 가중치의 합을 도출하고, 상기 도출된 가중치의 합에 기반하여 상기 공석 상태의 운동기구를 결정하는 단계; 및상기 사용자가 상기 등록 고객으로 결정될 경우, 상기 사용자의 운동 기록(history) 및 상기 사용자에 대해 미리 계획된 운동 루틴(routine) 중 적어도 하나에 기반하여 상기 동선 안내 정보를 갱신하되, 상기 운동 루틴(routine)에서 상기 복수의 운동 기구들 중 제1 운동 기구를 이용한 운동 수행이더라도 상기 제1 운동 기구가 공석 상태가 아닌 경우, 다음 차례에 이용할 제2 운동 기구로 안내하도록 상기 갱신된 동선 안내 정보를 추가적으로 갱신하는 단계를 포함하는 것을 특징으로 하는피트니스 서버의 동작 방법
19 19
삭제
20 20
제18항에 있어서,상기 수집된 영상 정보를 분석하여 상기 사용자의 신원 정보, 동선 정보, 동작 정보 및 표정 정보 중 적어도 하나의 정보를 인식하고, 상기 인식된 적어도 하나의 정보에 기반하여 동선 안내 정보 및 코칭 정보를 생성하는 단계는상기 사용자의 표정 및 동작 중 적어도 하나와 관련된 영상 정보를 기계 학습하여 상기 사용자의 동작과 관련된 각 관절 후보에 대한 히트 맵(heat map)을 생성하는 단계;상기 각 관절 후보에 대한 연결성을 확보에 따른 관절 좌표를 결정하며, 상기 결정된 관절 좌표의 변화에 따른 상기 동작 정보를 결정하되, 상기 결정된 동작 정보와 상기 복수의 운동 기구 각각에 대하여 미리 결정된 동작 정보를 기계학습하여 운동 횟수를 카운팅하거나 자세 불일치를 결정하는 단계; 및상기 자세 불일치로 결정될 경우, 자세 교정과 관련된 코칭 정보를 생성하는 단계를 포함하는 것을 특징으로 하는피트니스 서버의 동작 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 대구경북과학기술원 대구경북과학기술원연구운영비지원(R&D)(주요사업비) 미래 자동차 환경 센싱 및 소프트웨어 플랫폼 핵심기술 개발