| 1 |
1
학습용 영상에서 패턴을 추출한 후 각 패턴 단위로 레이블링을 수행하여 패턴 단위의 자기주도학습용 레이블을 생성하는 패턴 기반 레이블링 처리부; 학습용 영상에서 추출된 인접한 두 프레임을 입력받고, 학습용 영상에서 선택된 두 프레임에서 패턴 클래스를 추정하는 자기지도학습 기반 분할/추적 네트워크 처리부; 상기 패턴 기반 레이블링 처리부를 통해 레이블링된 상기 영상에서 추출된 이전 레이블링 프레임에 상기 추정한 학습용 영상의 이전 프레임 패턴 클래스의 가중치 합을 통해 현재 레이블링 프레임를 추정하는 패턴 클래스 추정부; 및 상기 현재 레이블링 프레임과 상기 패턴 클래스 추정부를 통해 추정한 현재 레이블링 프레임을 비교하여 현재 프레임과 현재 레이블링 프레임간 로스를 계산하는 로스 계산 유닛를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 2 |
2
제 1항에 있어서, 상기 패턴 기반 레이블링 처리부는, 학습용 영상에서 각 패치별로 walsh-Hardamard kernel을 적용한 각 필터 결과값을 전달하는 영상 기반 패턴 추출부; 상기 전달된 각 필터 결과값을 이용하여 패턴 기반 클러스터링을 수행하는 패턴 기반 클러스터링부; 및 상기 패턴 기반 클러스터링된 정보에 패턴의 클러스터 인덱스를 할당하여 패치 단위로 레이블링을 수행하는 패치 단위 레이블링부를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 3 |
3
제 2항에 있어서, 상기 패턴 기반 레이블링 처리부는, 패턴 단위로 레이블링 시, K-means 클러스터링을 이용하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 4 |
4
제 1항에 있어서, 상기 자기지도학습 기반 분할/추적 네트워크 처리부는, 심층뉴럴네트워크를 통해 임배딩된 피쳐 벡터의 유사도를 가중치로 두고, 이전 프레임의 패턴 클래스의 가중치 합으로 현재 프레임의 패턴 클래스를 추정하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 5 |
5
제 1항에 있어서, 상기 로스 계산 유닛는, 상기 추정된 클래스들이 실제 영상으로부터 추출한 레이블과의 유사도를 손실함수(cross-entropy)를 통해 계산하고, 그 결과값을 통해 심층 뉴럴 네트워크에 학습시키는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 6 |
6
영상 내 각 패치들의 패턴을 Locality Sensitive Hashing 또는 Coherency Sensitive Hashing을 통해 클러스터링하여 고차원 벡터의 유사성이 보존되도록 해싱하여 해당 해시 테이블의 인덱스와 비교하여 자기지도학습의 정답 레이블로 결정하는 패턴 해싱 기반 레이블 유닛부; 학습용 영상에서 추출된 인접한 두 프레임을 입력받고, 학습용 영상에서 선택된 두 프레임에서 패턴 클래스를 추정하는 자기지도학습 기반 분할/추적 네트워크 처리부; 상기 패턴 해싱 기반 레이블 유닛부를 통해 레이블링된 상기 영상에서 추출된 이전 레이블링 프레임에 상기 추정한 학습용 영상의 이전 프레임 패턴 클래스의 가중치 합을 통해 현재 레이블링 프레임를 추정하는 패턴 클래스 추정부; 및 상기 현재 레이블링 프레임과 상기 패턴 클래스 추정부를 통해 추정한 현재 레이블링 프레임을 비교하여 현재 프레임과 현재 레이블링 프레임간 로스를 계산하는 로스 계산 유닛를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 7 |
7
제 6항에 있어서, 상기 패턴 해싱 기반 레이블 유닛부는 학습 기반 영상에서 패턴을 추출하는 영상 기반 패턴 추출부; 상기 영상 기반 패턴 추출부에 의해 추출된 패턴에 패턴 기반 해시 테이블의 인덱스 정보를 이용하여 해싱 함수를 적용하는 패턴 기반 해싱 함수부; 해시 함수의 코드에 대응되는 인덱스 정보를 저장하는 패턴 기반 해시 테이블; 및 각 영상의 패치들이 패치 단위 레이블링을 통해 모두 기 설정된 범위안의 클래스를 정답으로 레이블링하는 패치 단위 레이블링부를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 8 |
8
제 7항에 있어서, 상기 패턴 기반 해싱 함수부는 각 패치에서 Walsh-Hardamard kernel을 적용한 각 필터 결과값을 해시함수의 입력으로 사용하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 9 |
9
제 7항에 있어서, 상기 해시 테이블은 인덱스가 해시 함수의 코드에 대응되며 유사한 패치들은 동일한 해시 테이블 엔트리에 속하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 10 |
10
학습용 영상에서 패턴을 추출한 후 각 패턴 단위로 레이블링을 수행하여 패턴 단위의 자기주도학습용 레이블을 생성하는 단계; 학습용 영상에서 추출된 인접한 두 프레임을 입력받고, 학습용 영상에서 선택된 두 프레임에서 패턴 클래스를 추정하는 단계; 상기 레이블링된 영상에서 추출된 이전 레이블링 프레임과, 상기 추정한 학습용 영상의 이전 프레임 패턴 클래스의 가중치 합을 통해 현재 레이블링 프레임를 추정하는 단계; 및 상기 현재 레이블링 프레임과 상기 패턴 클래스 추정부를 통해 추정한 현재 레이블링 프레임을 비교하여 현재 프레임과 현재 레이블링 프레임간 로스를 계산하는 단계를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
| 11 |
11
제 10항에 있어서, 상기 레이블을 생성하는 단계는, 학습용 영상에서 각 패치별로 walsh-Hardamard kernel을 적용한 각 필터 결과값을 전달하는 단계; 상기 전달된 각 필터 결과값을 이용하여 패턴 기반 클러스터링을 수행하는 단계; 및 상기 패턴 기반 클러스터링된 정보에 패턴의 클러스터 인덱스를 할당하여 패치 단위로 레이블링을 수행하는 단계를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
| 12 |
12
제 11항에 있어서, 상기 패턴 클래스를 추정하는 단계는, 패턴 단위로 레이블링 시, K-means 클러스터링을 이용하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
| 13 |
13
제 10항에 있어서, 상기 패턴 클래스를 추정하는 단계는,심층뉴럴네트워크를 통해 임배딩된 피쳐 벡터의 유사도를 가중치로 두고, 이전 프레임의 패턴 클래스의 가중치 합으로 현재 프레임의 패턴 클래스를 추정하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템
|
| 14 |
14
제 10항에 있어서, 상기 로스를 계산하는 단계는, 상기 추정된 클래스들이 실제 영상으로부터 추출한 레이블과의 유사도를 손실함수(cross-entropy)를 통해 계산하고, 그 결과값을 통해 심층 뉴럴 네트워크에 학습시키는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
| 15 |
15
제 10항에 있어서, 상기 레이블을 생성하는 단계는, 학습 기반 영상에서 패턴을 추출하는 단계; 상기 추출된 패턴에 패턴 기반 해시 테이블의 인덱스 정보를 이용하여 해싱 함수를 적용하는 단계; 및 각 영상의 패치들이 패치 단위 레이블링을 통해 모두 기 설정된 범위안의 클래스를 정답으로 레이블링하는 단계를 포함하는 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
| 16 |
16
제 15항에 있어서, 상기 해시 테이블은 인덱스가 해시 함수의 코드에 대응되며 유사한 패치들은 동일한 해시 테이블 엔트리에 속하는 것인 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 방법
|
