| 1 |
1
2D EDM 생성부가 영상정보에서 인식한 신체의 특징점들 사이의 거리에 관한 정보를 갖는 2D EDM을 생성하는 2D EDM 생성단계; 3D EDM 생성부가 입력데이터가 2D EDM이고 정답데이터가 3D EDM인 학습데이터로 학습된 제1 딥러닝 신경망 네트워크를 이용하여, 상기 2D EDM을 입력받아 3D EDM을 생성하는 3D EDM 생성단계; 관절 정보 생성부가, 상기 3D EDM에 기초하여 신체의 관절의 각도를 인식하여 관절 정보를 생성하는 관절 정보 생성단계; 오류보정부가, 상기 관절 정보에서 일반적인 신체의 가동범위를 벗어나는 관절의 각도를 보정하는 오류 보정단계; 및 상기 3D EDM에 기초하여 수어 또는 제스처를 인식하는 인식단계를 포함하고, 상기 오류 보정단계는 상기 오류보정부가 일반적인 신체의 가동범위를 포함하는 학습데이터로 훈련된 제3 딥러닝 신경망 네트워크를 이용하여, 상기 관절 정보를 입력받아 상기 관절 정보에서 일반적인 신체의 가동범위를 벗어나는 관절의 각도를 보정하고, 상기 2D EDM 생성단계에서 인식되지 않은 특징점과 관련된 관절 각도를 복원하여 보정된 관절 정보를 생성하는 것인, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 2 |
2
청구항 1에 있어서, 2D EDM 생성단계는 2D EDM 생성부가 상기 영상정보에서 신체의 특징점을 추출하고, 상기 특징점의 좌표를 인식하는 특징점 추출단계; 및 2D EDM 생성부가 상기 특징점들 사이의 거리에 관한 정보를 유클리디안 거리 매트릭스로 정리하여 2D EDM을 생성하는 EDM 생성단계를 포함하는, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 3 |
3
삭제
|
| 4 |
4
삭제
|
| 5 |
5
청구항 1에 있어서, 상기 오류보정부가 시퀀스에 따라 복수개 생성되는 3D EDM 또는 관절 정보 중에서 정해진 시퀀스 범위의 3D EDM 또는 관절 정보를 평균하여 임의의 3D EDM 또는 관절 정보를 보정하여, 이상치를 제거하는 스무딩 단계를 더 포함하는, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 6 |
6
청구항 1에 있어서, 상기 제1 딥러닝 신경망 네트워크는 임의의 차원의 선형 레이어, ReLU 레이어 및 드랍아웃 레이어를 세단계 반복하여 출력값을 구하고 상기 출력값과 정답값의 차이를 제곱하여 더한 값을 최소화하도록 역전파를 수행하며 2D EDM의 우상단 삼각값을 1차원 벡터로 변환한 값을 입력데이터로 이용하는 완전 연결 레이어 구조, 또는 2D EDM을 입력데이터로 입력하여, 두 단계의 합성곱 레이어, 배치 정규화 레이어, ReLU 레이어, 드랍아웃 레이어를 거친 후 다시 두 단계의 역합성곱 레이어, 배치 정규화 레이어, ReLU 레이어를 거쳐 원래 크기로 복원하고 행렬의 각 위치마다 선형 매트릭스를 곱하여 출력값을 구하고 상기 출력값과 정답값의 차이를 제곱하여 더한 값을 최소화하도록 역전파를 수행하는 합성곱 레이어 구조인, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 7 |
7
청구항 1에 있어서, 상기 인식 단계는 인식부가 입력데이터가 3D EDM을 포함하고 정답데이터가 음성 언어 문장인 학습데이터로 학습된 제2-1 딥러닝 신경망 네트워크를 이용하여, 상기 3D EDM의 시퀀스로 이루어진 수어 문장을 입력받아 음성 언어 문장으로 번역하는 수어-음성 언어 번역단계; 또는 인식부가 입력데이터가 3D EDM을 포함하고 정답데이터가 제스처 의미인 학습데이터로 학습된 제2-2 딥러닝 신경망 네트워크를 이용하여, 상기 3D EDM의 시퀀스로 이루어진 제스처를 입력받아 제스처 의미로 번역하는 제스처-명령어 번역단계를 포함하는, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 8 |
8
청구항 7에 있어서, 상기 수어-음성 언어 번역단계에서상기 제2-1 딥러닝 신경망 네트워크는 인코더와 디코더를 포함하는 시퀀스 투 시퀀스 구조이며, 상기 인코더는 상기 3D EDM과 보정된 관절 정보를 포함하는 매트릭스 구조의 제1 복합벡터를 시퀀스에 따라 입력받아 정해진 개수의 제1 복합벡터를 3차원 필터로 연산하는 3D 콘볼루션 신경망 네트워크이고, 상기 디코더는 LSTM 구조의 순환신경망 구조이며, 상기 학습데이터는 입력데이터가 상기 제1 복합벡터이고 정답데이터가 음성 언어 문장이고, 상기 수어-음성 언어 번역단계는 상기 학습데이터로 학습된 상기 제2-1 딥러닝 신경망 네트워크에 상기 3D EDM 및 관절 정보의 시퀀스로 이루어진 수어 문장을 입력하여 음성 언어 문장으로 번역하는 것인, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 9 |
9
청구항 7에 있어서, 상기 수어-음성 언어 번역단계에서상기 제2-1 딥러닝 신경망 네트워크는 인코더와 디코더를 포함하는 시퀀스 투 시퀀스 구조이며, 상기 인코더는 상기 3D EDM 및 보정된 관절 정보를 각 시퀀스마다 1차원 벡터화한 후 연결함수를 이용하여 생성하는 제2 복합벡터를 입력받아 연산하는 LSTM 구조의 순환신경망 구조이고, 디코더는 LSTM 구조의 순환신경망 구조이며,상기 학습데이터는 입력데이터가 상기 제2 복합벡터이고 정답데이터가 음성 언어 문장이며,상기 수어-음성 언어 번역단계는 상기 학습데이터로 학습된 상기 제2-1 딥러닝 신경망 네트워크에 상기 3D EDM 및 관절 정보의 시퀀스로 이루어진 수어 문장을 입력하여 음성 언어 문장으로 번역하는 것인, 3D EDM을 이용한 수어 또는 제스처 인식 방법
|
| 10 |
10
영상정보에서 인식한 신체의 특징점들 사이의 거리에 관한 정보를 갖는 2D EDM을 생성하는 2D EDM 생성부;입력데이터가 2D EDM이고 정답데이터가 3D EDM인 학습데이터로 학습된 제1 딥러닝 신경망 네트워크를 이용하여, 상기 2D EDM을 입력받아 3D EDM을 생성하는 3D EDM 생성부; 상기 3D EDM에 기초하여 신체의 관절의 각도를 인식하여 관절 정보를 생성하는 관절 정보 생성부;상기 관절 정보에서 일반적인 신체의 가동범위를 벗어나는 관절의 각도를 보정하고, 상기 2D EDM 생성부가 인식하지 못한 특징점과 관련된 관절 각도를 복원하는 오류보정부; 및 상기 3D EDM에 기초하여 수어 또는 제스처를 인식하는 인식부를 포함하고,상기 오류보정부는 일반적인 신체의 가동범위를 포함하는 학습데이터로 훈련된 제3 딥러닝 신경망 네트워크를 이용하여, 상기 관절 정보를 입력받아 상기 관절 정보에서 일반적인 신체의 가동범위를 벗어나는 관절의 각도를 보정하고, 상기 2D EDM 생성단계에서 인식되지 않은 특징점과 관련된 관절 각도를 복원하여 보정된 관절 정보를 생성하는 오류 보정단계를 수행하는, 3D EDM을 이용한 수어 또는 제스처 인식 장치
|
| 11 |
11
청구항 10에 있어서, 상기 인식부는 입력데이터가 3D EDM을 포함하고 정답데이터가 음성 언어 문장인 학습데이터로 학습된 제2-1 딥러닝 신경망 네트워크를 이용하여, 상기 3D EDM의 시퀀스로 이루어진 수어 문장을 입력받아 음성 언어 문장으로 번역하는 수어-음성 언어 번역 단계, 또는 제스처 인식부가 입력데이터가 3D EDM을 포함하고 정답데이터가 제스처 의미인 학습데이터로 학습된 제2-2 딥러닝 신경망 네트워크를 이용하여, 상기 3D EDM의 시퀀스로 이루어진 제스처를 입력받아 제스처 의미로 번역하는 제스처-명령어 번역단계를 수행하는, 3D EDM을 이용한 수어 또는 제스처 인식 장치
|
| 12 |
12
삭제
|
| 13 |
13
청구항 10에 있어서, 상기 오류보정부는 시퀀스에 따라 복수개 생성되는 3D EDM중에서 정해진 시퀀스 범위의 3D EDM을 평균하여 임의의 3D EDM을 보정하여, 이상치를 제거하는 스무딩 단계를 더 수행하는, 3D EDM을 이용한 수어 또는 제스처 인식 장치
|
| 14 |
14
청구항 10에 있어서, 상기 오류보정부는 상기 오류 보정단계에 의해 보정된 관절 정보에 기초하여, 상기 3D EDM에 포함된 일반적인 신체의 가동범위를 벗어나는 관절의 각도를 보정하는 역보정 단계를 더 수행하는, 3D EDM을 이용한 수어 또는 제스처 인식 장치
|
