| 1 |
1
동영상에서 의상을 인식하는 방법으로서,인식 장치가, 상기 동영상으로부터 캡쳐된 이미지에서 의상 영역 이미지를 검출하는 단계;상기 인식 장치가, 상기 검출된 의상 영역 이미지에 대응하는 특징 벡터를 생성하는 단계;상기 인식 장치가, 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터를 비교하는 단계;상기 인식 장치가, 상기 비교 결과를 기반으로 상기 협찬 의상 이미지들 중에서 의상 후보 매칭군을 획득하는 단계; 및상기 인식 장치가, 상기 획득된 의상 후보 매칭군에 포함된 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅(tagging)하는 단계를 포함하는 방법
|
| 2 |
2
제1항에 있어서상기 특징 벡터를 비교하는 단계는 상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들 중에서 상기 동영상에 매핑되어 있는 협찬 의상 이미지들의 특징 벡터와 상기 검출된 의상 영역 이미지의 특징 벡터를 비교하는, 방법
|
| 3 |
3
제1항에 있어서상기 특징 벡터를 비교하는 단계는 상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터의 절대적 거리인 유클리드 거리를 각각 계산하고, 상기 의상 후보 매칭군을 획득하는 단계는 상기 계산된 유클리드 거리를 기반으로 상기 의상 후보 매칭군을 획득하는, 방법
|
| 4 |
4
제3항에 있어서상기 의상 후보 매칭군을 획득하는 단계는 상기 계산된 유클리드 거리를 기반으로, 거리가 작은 순으로 상기 협찬 의상 이미지들을 정렬하는 단계; 및상기 정렬된 협찬 의상 이미지들 중에서 가장 작은 거리를 가지는 협찬 의상 이미지부터 복수개의 협찬 의상 이미지를 상기 의상 후보 매칭군으로서 선택하는 단계를 포함하는, 방법
|
| 5 |
5
제3항에 있어서상기 의상 후보 매칭군을 획득하는 단계 이후에,상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 단계를 더 포함하고, 상기 태깅하는 단계는, 상기 순위가 재조정된 의상 후보 매칭군에서 태깅을 위한 최종 협찬 의상 이미지들을 선택하고, 선택된 최종 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅하는, 방법
|
| 6 |
6
제5항에 있어서상기 순위를 재조정하는 단계는, 상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터의 상대적 거리를 각각 계산하는 단계; 및상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 기반으로, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 단계를 포함하는, 방법
|
| 7 |
7
제6항에 있어서상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 기반으로, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 단계는, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들에 대하여, 상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 합산하여 합산 거리를 각각 계산하는 단계; 및 상기 합산 거리를 기반으로, 거리가 작은 순으로 상기 협찬 의상 이미지들을 정렬하는 단계를 포함하는, 방법
|
| 8 |
8
제1항에 있어서상기 태깅하는 단계는 상기 이미지가 캡쳐된 상기 동영상의 프레임의 시간대 정보와 상기 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅하는, 방법
|
| 9 |
9
제1항에 있어서상기 의상 영역 이미지를 검출하는 단계는, 미리 학습된 딥러닝 기반의 객체 검출 모델을 이용하여 상기 캡쳐된 이미지에서 의상 영역 이미지를 검출하며, 상기 특징 벡터를 생성하는 단계는,상기 의상 영역 이미지를 미리 학습된 의상 인식 모델을 통과시켜 대응하는 특징 벡터를 생성하며, 상기 의상 인식 모델은 트리플렛 손실 함수를 통해 학습되어, 기준 이미지의 특징 벡터와 동일 의상 이미지의 특징 벡터 간 거리는 가까워지고, 기준 이미지의 특징 벡터와 다른 의상 이미지의 특징 벡터 간 거리는 멀어지도록 특징 벡터를 생성하는, 방법
|
| 10 |
10
제1항에 있어서상기 태깅하는 단계에서, 상기 협찬 의상 이미지들에 관련된 정보는 상기 협찬 의상 이미지의 의상명, 의상 설명, 링크 주소 중 적어도 하나를 포함하는, 방법
|
| 11 |
11
동영상에서 의상을 인식하는 장치로서,상기 동영상으로부터 캡쳐된 이미지를 입력받도록 구성된 인터페이스 장치; 및상기 캡쳐된 이미지로부터 의상을 인식하도록 구성된 프로세서를 포함하고,상기 프로세서는, 상기 캡쳐된 이미지에서 의상 영역 이미지를 검출하는 동작;상기 검출된 의상 영역 이미지에 대응하는 특징 벡터를 생성하는 동작;데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터를 비교하는 동작;상기 비교 결과를 기반으로 상기 협찬 의상 이미지들 중에서 의상 후보 매칭군을 획득하는 동작; 및상기 획득된 의상 후보 매칭군에 포함된 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅하는 동작을 수행하도록 구성되는, 장치
|
| 12 |
12
제11항에 있어서상기 프로세서는 상기 특징 벡터를 비교하는 동작 수행시, 상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들 중에서 상기 동영상에 매핑되어 있는 협찬 의상 이미지들의 특징 벡터와 상기 검출된 의상 영역 이미지의 특징 벡터를 비교하도록 구성되는, 장치
|
| 13 |
13
제11항에 있어서상기 프로세서는 상기 특징 벡터를 비교하는 동작 수행시, 상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터의 절대적 거리인 유클리드 거리를 각각 계산하도록 구성되고, 상기 의상 후보 매칭군을 획득하는 동작 수행시, 상기 계산된 유클리드 거리를 기반으로 상기 의상 후보 매칭군을 획득하도록 구성되는, 장치
|
| 14 |
14
제13항에 있어서상기 프로세서는 상기 의상 후보 매칭군을 획득하는 동작 수행시, 상기 계산된 유클리드 거리를 기반으로, 거리가 작은 순으로 상기 협찬 의상 이미지들을 정렬하는 동작; 및상기 정렬된 협찬 의상 이미지들 중에서 가장 작은 거리를 가지는 협찬 의상 이미지부터 복수개의 협찬 의상 이미지를 상기 의상 후보 매칭군으로서 선택하는 동작을 수행하도록 구성되는, 장치
|
| 15 |
15
제13항에 있어서상기 프로세서는, 상기 의상 후보 매칭군을 획득하는 동작 이후에,상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 동작을 추가적으로 수행하도록 구성되고, 그리고상기 프로세서는 상기 태깅하는 동작 수행시, 상기 순위가 재조정된 의상 후보 매칭군에서 태깅을 위한 최종 협찬 의상 이미지들을 선택하고, 선택된 최종 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅하도록 구성되는, 장치
|
| 16 |
16
제15항에 있어서상기 프로세서는 상기 순위를 재조정하는 동작 수행시,상기 데이터베이스에 미리 저장되어 있는 협찬 의상 이미지들의 특징 벡터들과 상기 검출된 의상 영역 이미지의 특징 벡터의 상대적 거리를 각각 계산하는 동작; 및상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 기반으로, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 동작을 수행하도록 구성되는, 장치
|
| 17 |
17
제16항에 있어서상기 프로세서는, 상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 기반으로, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들의 순위를 재조정하는 동작 수행시, 상기 의상 후보 매칭군에 포함되는 협찬 의상 이미지들에 대하여, 상기 절대적 거리인 유클리드 거리와 상기 상대적 거리를 합산하여 합산 거리를 각각 계산하는 동작; 및 상기 합산 거리를 기반으로, 거리가 작은 순으로 상기 협찬 의상 이미지들을 정렬하는 동작을 수행하도록 구성되는, 장치
|
| 18 |
18
제11항에 있어서상기 프로세서는 상기 태깅하는 동작 수행시, 상기 이미지가 캡쳐된 상기 동영상의 프레임의 시간대 정보와 상기 협찬 의상 이미지들에 관련된 정보를 상기 동영상의 메타 데이터에 태깅하도록 구성되는, 장치
|
| 19 |
19
제11항에 있어서상기 프로세서는, 상기 의상 영역 이미지를 검출하는 동작 수행시, 미리 학습된 딥러닝 기반의 객체 검출 모델을 이용하여 상기 캡쳐된 이미지에서 의상 영역 이미지를 검출하도록 구성되고,상기 특징 벡터를 생성하는 동작 수행시, 상기 의상 영역 이미지를 미리 학습된 의상 인식 모델을 통과시켜 대응하는 특징 벡터를 생성하도록 구성되는, 장치
|
