맞춤기술찾기

이전대상기술

레이더 및 메타표면을 이용한 딥러닝 기반의 키포인트 인식 시스템

  • 기술번호 : KST2023002714
  • 담당센터 : 경기기술혁신센터
  • 전화번호 : 031-8006-1570
요약, Int. CL, CPC, 출원번호/일자, 출원인, 등록번호/일자, 공개번호/일자, 공고번호/일자, 국제출원번호/일자, 국제공개번호/일자, 우선권정보, 법적상태, 심사진행상태, 심판사항, 구분, 원출원번호/일자, 관련 출원번호, 기술이전 희망, 심사청구여부/일자, 심사청구항수의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 서지정보 표입니다.
요약 본 발명은 RF 신호 기반의 물체 탐지에 있어서, 메타표면 상태들에 대응하는 RF 신호 상태들을 최적화하기 위한 상태 간소화 알고리즘 및 대상 인물의 관절 좌표 등의 키포인트를 추정하기 위한 딥러닝 기반의 트랜스포머 모델을 기반으로, 대상 물체의 위치만이 아닌 행위까지 인식할 수 있는 키포인트 인식 시스템에 관한 것이다. 본 발명에 따른 RF 신호 기반의 키포인트 인식 시스템에 의하면, 메타표면을 활용하여 다중 안테나 개수를 과도하게 늘리지 않으면서도 원하는 수준의 RF 신호 해상도 및 정확도를 구현할 수 있으며, 그와 동시에 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘이 수행될 수 있으므로, 딥러닝 기반의 트랜스포머 모델에 입력될 데이터의 양이 적절하게 조정될 수 있다. 따라서, 키포인트 좌표들을 도출하는 트랜스포머 모델에서 과도한 RF 신호 상태들의 개수, 즉 과도한 메타표면 상태들의 개수에 의해 연산 효율이 저하되는 문제가 해소될 수 있다.
Int. CL G01S 13/87 (2006.01.01) G01S 7/292 (2006.01.01) G01S 7/41 (2006.01.01) G06N 3/08 (2023.01.01)
CPC G01S 13/878(2013.01) G01S 7/2923(2013.01) G01S 7/417(2013.01) G06N 3/08(2013.01)
출원번호/일자 1020210187103 (2021.12.24)
출원인 성균관대학교산학협력단
등록번호/일자
공개번호/일자 10-2023-0097525 (2023.07.03) 문서열기
공고번호/일자
국제출원번호/일자
국제공개번호/일자
우선권정보
법적상태 공개
심사진행상태 수리
심판사항
구분 국내출원/신규
원출원번호/일자
관련 출원번호
심사청구여부/일자 Y (2021.12.24)
심사청구항수 11

출원인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 출원인 표입니다.
번호 이름 국적 주소
1 성균관대학교산학협력단 대한민국 경기도 수원시 장안구

발명자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 발명자 표입니다.
번호 이름 국적 주소
1 최계원 경기도 수원시 장안구
2 손하영 경기도 수원시 장안구
3 김건우 경기도 수원시 장안구
4 이상원 경기도 수원시 장안구

대리인

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 대리인 표입니다.
번호 이름 국적 주소
1 김준석 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동) 에이스비즈포레 ***-***호(키움특허법률사무소)
2 박민욱 대한민국 서울특별시 금천구 가산디지털*로 ***(가산동) 에이스비즈포레 ***-***호 ***호(키움특허법률사무소)

최종권리자

번호, 이름, 국적, 주소의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 인명정보 - 최종권리자 표입니다.
번호 이름 국적 주소
최종권리자 정보가 없습니다
번호, 서류명, 접수/발송일자, 처리상태, 접수/발송일자의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 행정처리 표입니다.
번호 서류명 접수/발송일자 처리상태 접수/발송번호
1 [특허출원]특허출원서
[Patent Application] Patent Application
2021.12.24 수리 (Accepted) 1-1-2021-1499323-42
2 선행기술조사의뢰서
Request for Prior Art Search
2023.01.16 수리 (Accepted) 9-1-9999-9999999-89
3 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2023.01.26 1-1-2023-0094525-71
4 [반환신청]서류 반려요청서·반환신청서
2023.01.31 수리 (Accepted) 1-1-2023-0110643-26
5 [대리인선임]대리인(대표자)에 관한 신고서
[Appointment of Agent] Report on Agent (Representative)
2023.01.31 수리 (Accepted) 1-1-2023-0110704-13
번호, 청구항의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 청구항 표입니다.
번호 청구항
1 1
RF 신호 기반의 키포인트 인식 시스템에 있어서,키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 송신 안테나들 및 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 수신 안테나들을 포함하는 데이터 수집부; 및상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하고,상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 데이터 처리부; 를 포함하는, RF 신호 기반의 키포인트 인식 시스템
2 2
제 1 항에 있어서,상기 데이터 수집부는 각 셀의 온/오프 상태에 의해 상기 RF 신호 상태들에 대응하는 메타표면 상태들이 결정되는 셀들을 포함하는 메타표면(metasurface)을 더 포함하고,상기 RF 레이더 펄스 신호가 상기 메타표면을 투과할 때 상기 메타표면 상태들에 따라 상기 RF 레이더 펄스 신호의 위상 및 세기를 포함하는 상기 RF 신호 상태들이 변경되는, RF 신호 기반의 키포인트 인식 시스템
3 3
제 2 항에 있어서,상기 상태 간소화 알고리즘은 N개의 상기 셀들의 개수에 의한 2N개의 상기 메타표면 상태들에 대해 쿼리 행렬 Q 및 전치 키 행렬 KT의 곱에 의해 생성되는 2N x 2N의 어텐션 스코어 행렬에서 각 행의 평균으로 계산되는 2N개의 어텐션 스코어들을 기준으로 상기 RF 신호 상태들 중 일부의 유효한 상태들을 선별하는 셀프 어텐션 기법에 기초하여 상기 RF 최종 상태들을 결정하는, RF 신호 기반의 키포인트 인식 시스템
4 4
제 3 항에 있어서,상기 셀프 어텐션 기법은, 상기 메타표면 상태들에 대한 i) 상태 개수 조정; ii) 조정된 상태 개수에 따른 모델 성능 측정; 및 iii) 목표 성능과의 비교를 통한 상기 상태 개수 조정의 증감 방향과 조정 크기의 결정; 을 반복하면서 상기 메타표면 상태들의 상태 개수를 반복적으로 업데이트하여 최종 메타표면 상태들을 결정하고,상기 RF 최종 상태들은 상기 최종 메타표면 상태들에 대응하는, RF 신호 기반의 키포인트 인식 시스템
5 5
제 4 항에 있어서,상기 셀프 어텐션 기법은, i) 최초 반복에서, 행 제거 비율 Rn에 따라 상기 어텐션 스코어 행렬의 2N개의 행들 중 하위 스코어 행들을 제거하고, ii) 이후 반복들마다, 감소율 rd를 적용하여 상기 행 제거 비율 Rn을 감소시키고,상기 이후 반복들마다, iii) 직전 반복에 의해 조정된 메타표면 상태 개수에 따른 모델 성능과 목표 성능의 차이의 비율이 임계 비율보다 높을 경우, 제거된 상태들 중 임의의 일부 상태들을 추가 도입 비율 Ra에 따라 상기 어텐션 스코어 행렬에 추가하고, iv) 상기 차이의 비율이 상기 임계 비율보다 낮을 경우, 감소율 ra를 적용하여 상기 추가 도입 비율 Ra를 감소시키는, RF 신호 기반의 키포인트 인식 시스템
6 6
제 5 항에 있어서,상기 셀프 어텐션 기법은 상기 차이의 비율이 상기 임계 비율보다 낮은 경우가 5회 이상 반복되는 경우 상기 메타표면 상태들의 상태 개수 조정을 중단하고 상기 최종 메타표면 상태들을 확정하는, RF 신호 기반의 키포인트 인식 시스템
7 7
제 4 항에 있어서,상기 셀프 어텐션 기법에서 상기 최종 메타표면 상태들을 결정하기 위해 상기 메타표면 상태들의 상태 개수를 반복적으로 업데이트하는 것은 멀티-헤드 어텐션의 헤드 개수 nhead에 대해 병렬로 실행되는, RF 신호 기반의 키포인트 인식 시스템
8 8
제 1 항에 있어서,상기 트랜스포머 모델은, 1차원 커널을 통해 상기 유효 반사 신호로부터 1차원 피쳐들을 추출하도록 학습되는 레지듀얼 구조의 합성곱 신경망, 상기 1차원 피쳐들의 특성과 송수신 안테나 쌍의 거리 차이로 인해 발생하는 상기 유효 반사 신호의 특성 변화 간의 관계성을 파악하도록 학습되는 인코더 레이어, 및 상기 키포인트 인식 대상의 위치 정보와 상기 관계성 간의 유사도를 도출하도록 학습되는 디코더 레이어를 포함하는, RF 신호 기반의 키포인트 인식 시스템
9 9
제 8 항에 있어서,상기 트랜스포머 모델은, 상기 1차원 피쳐들에 대한 임베딩을 수행하여 평탄화된 1차원의 입력 시퀀스를 생성하도록 학습되는 임베딩 레이어, 상기 인코더 레이어에 입력되는 상기 1차원의 입력 시퀀스에 위치 정보를 반영하도록 학습되는 포지셔널 인코딩 레이어, 및 상기 유사도에 기초하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하도록 학습되는 합성곱 레이어를 더 포함하는, RF 신호 기반의 키포인트 인식 시스템
10 10
제 1 항에 있어서,상기 키포인트 인식 대상은 사람이고, 상기 키포인트 좌표들은 머리, 좌우 어깨, 좌우 팔꿈치, 좌우 손끝, 좌우 엉덩이, 좌우 무릎 및 좌우 발목의 13개 키포인트들의 3차원 좌표들인, RF 신호 기반의 키포인트 인식 시스템
11 11
RF 신호 기반의 키포인트 인식 시스템에 의해 수행되는 키포인트 인식 방법에 있어서,상기 키포인트 인식 시스템의 데이터 수집부의 송신 안테나들에 의해, 키포인트 인식 대상으로 조사되는 RF 레이더 펄스 신호를 생성하는 단계;상기 데이터 수집부의 수신 안테나들에 의해, 상기 키포인트 인식 대상으로부터 반사되는 반사 신호를 수신하는 단계;상기 키포인트 인식 시스템의 데이터 처리부에 의해, 상기 RF 레이더 펄스 신호가 조사될 때 가질 수 있는 RF 신호 상태들 중 일부의 유효한 상태들을 선별하기 위한 상태 간소화 알고리즘을 수행하여 RF 최종 상태들을 결정하는 단계; 및상기 데이터 처리부에 의해, 상기 RF 최종 상태들을 가진 채로 조사되는 상기 RF 레이더 펄스 신호가 상기 키포인트 인식 대상으로부터 반사되면서 생성되는 유효 반사 신호를 딥러닝 기반의 트랜스포머 모델에 입력하여 상기 키포인트 인식 대상의 키포인트 좌표들을 도출하는 단계; 를 포함하는, 키포인트 인식 방법
지정국 정보가 없습니다
패밀리정보가 없습니다
순번, 연구부처, 주관기관, 연구사업, 연구과제의 정보를 제공하는 이전대상기술 뷰 페이지 상세정보 > 국가R&D 연구정보 정보 표입니다.
순번 연구부처 주관기관 연구사업 연구과제
1 과학기술정보통신부 성균관대학교 산학협력단 실감콘텐츠핵심기술개발(R&D) VR·AR 콘텐츠 비가시 영역 영상 복원 기술 개발