| 1 |
1
각 클래스에서 매칭 페어(matching pair)를 구성하는 앵커(anchor) 샘플과 포지티브(positve) 샘플 중 어느 하나에서 최고 유사도를 갖는 제 1 네거티브 샘플을 선정함과 아울러서, 상기 제 1 네거티브 샘플에 대해 최고 유사도를 갖는 제 2 네거티브 샘플 선정하여, 상기 제 1 및 제 2 네거티브 샘플들을 포함하는 트윈 네거티브(twin negative)를 샘플링하는 단계; 및 각 클래스에 대해 상기 앵커 샘플, 상기 포지티브 샘플, 상기 제 1 및 제 2 네거티브 샘플들을 활용하여 각 클래스마다 손실 함수의 손실을 최소화하도록 상기 샘플들을 학습하는(train) 단계를 포함하고, 상기 제 1 네거티브 샘플은 상기 매칭 페어가 포함된 클래스와 다른 클래스에서 선정되며, 상기 제 2 네거티브 샘플은 상기 매칭 페어 및 상기 제 1 네거티브 샘플이 포함된 클래스들과 상이한 클래스에서 선정되는 이미지 딥러닝 모델 학습 방법
|
| 2 |
2
제 1 항에 있어서, 상기 제 1 네거티브 샘플의 선정은 상기 매칭 페어의 상기 포지티브 샘플 및 상기 클래스와 다른 클래스들에 속한 각각의 앵커 샘플을 페어의 요소로 포함하는 복수의 제 1 비매칭 페어들(first non-matching pairs)과, 상기 매칭 페어의 상기 앵커 샘플 및 상기 클래스와 다른 클래스들에 속한 각각의 포지티브 샘플을 페어의 요소로 포함하는 복수의 제 2 비매칭 페어들을 제 1 네거티브 후보들로 채택하고, 상기 제 1 및 제 2 비매칭 페어들 중 최고의 유사도를 갖는 비매칭 페어에 속한 상기 다른 클래스의 앵커 샘플 또는 포지티브 샘플을 상기 제 1 네거티브 샘플로 선택하는 것인 이미지 딥러닝 모델 학습 방법
|
| 3 |
3
제 1 항에 있어서,상기 제 2 네거티브 샘플의 선정은 상기 제 1 네거티브 샘플을 구성하는 앵커 샘플 및 포지티브 샘플 중 어느 한 종류의 샘플을 페어의 제 1 요소로 포함함과 아울러서, 상기 매칭 페어, 상기 제 1 네거티브 샘플과 전부 상이한 클래스들에 속하며 상기 제 1 네거티브 샘플의 종류와 다른 종류로 구성된 각각의 샘플들을 페어의 제 2 요소로 포함하는 복수의 제 3 비매칭 페어들을 제 2 네거티브 후보로 채택하고, 상기 제 3 비매칭 페어들 중 최고의 유사도를 갖는 제 3 비매칭 페어에 속한 상기 다른 종류의 샘플을 상기 제 2 네거티브 샘플로 선정하는 것인 이미지 딥러닝 모델 학습 방법
|
| 4 |
4
제 1항에 있어서, 상기 클래스는 이미지들에 대한 앵커 샘플과 포지티브 샘플을 동일 객체 별로 군집화하고(cluster), 상기 매칭 페어는 상기 동일 객체의 이미지 내에서 동일한 위치에 추출된 앵커 샘플과 포지티브 샘플의 쌍(pair)이며, 상기 앵커 샘플, 상기 포지티브 샘플, 상기 제 1 및 제 2 네거티브 샘플들은 이미지로부터 추출된 특징점(feature) 주위에 기 지정된 단위의 픽셀들로 취득되는 패치(patch)로 구성되는 이미지 딥러닝 모델 학습 방법
|
| 5 |
5
제 1 항에 있어서, 상기 유사도는 서로 다른 종류의 샘플들 간의 거리에 기초하여 산출되며, 상기 최고 유사도는 상기 샘플들 간의 거리들 중 최소 거리를 갖는 샘플을 네거티브 샘플로 판정하는 이미지 딥러닝 모델 학습 방법
|
| 6 |
6
제 5 항에 있어서, 상기 거리는 상기 앵커 샘플 및 상기 포지티브 샘플의 패치를 기술하는(describing) 디스크립터(descriptor)를 이용하여 산출되며, 상기 디스크립터는 n 차원의 벡터로 구성되는 이미지 딥러닝 모델 학습 방법
|
| 7 |
7
제 5 항에 있어서, 상기 거리는 상기 샘플들 간의 L2 거리인 이미지 딥러닝 모델 학습 방법
|
| 8 |
8
제 1 항에 있어서, 상기 손실 함수는 서로 다른 클래스들 간의 거리를 정의하는 인터 클래스(inter class) 거리 함수와 동일한 클래스 내에서 샘플들 간의 거리를 정의하는 인트라 클래스(intra class) 거리 함수를 포함하는 이미지 딥러닝 모델 학습 방법
|
| 9 |
9
제 8 항에 있어서, 상기 인터 클래스 거리 함수와 상기 인트라 클래스 거리 함수는 모든 클래스들을 적용한 합산 방식이 아닌, 각 클래스마다 산출되어, 각 클래스마다 손실 함수의 손실을 최소화하도록 상기 샘플들을 학습하는 이미지 딥러닝 모델 학습 방법
|
| 10 |
10
제 8 항에 있어서, 상기 인터 클래스 거리 함수는 제 1 마진을 포함하며, 상기 인트라 클래스 거리 함수는 제 2 마진을 포함하되, 상기 제 1 마진은 상기 제 2 마진보다 큰 값으로 설정되는 이미지 딥러닝 모델 학습 방법
|
| 11 |
11
학습 대상에 대한 샘플들을 수신하는 송수신부;상기 샘플들에 대한 이미지 딥러닝 모델을 학습하는 프로그램을 저장하는 메모리; 및상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램에 의해, 각 클래스에서 매칭 페어를 구성하는 앵커 샘플과 포지티브 샘플 중 어느 하나에서 최고 유사도를 갖는 제 1 네거티브 샘플을 선정함과 아울러서, 상기 제 1 네거티브 샘플에 대해 최고 유사도를 갖는 제 2 네거티브 샘플 선정하여, 상기 제 1 및 제 2 네거티브 샘플들을 포함하는 트윈 네거티브를 샘플링하는 처리; 및 각 클래스에 대해 상기 앵커 샘플, 상기 포지티브 샘플, 상기 제 1 및 제 2 네거티브 샘플들을 활용하여 각 클래스마다 손실 함수의 손실을 최소화하도록 상기 샘플들을 학습하는 처리를 포함하고, 상기 제 1 네거티브 샘플은 상기 매칭 페어가 포함된 클래스와 다른 클래스에서 선정되며, 상기 제 2 네거티브 샘플은 상기 매칭 페어 및 상기 제 1 네거티브 샘플이 포함된 클래스들과 상이한 클래스에서 선정되는 이미지 딥러닝 모델 학습 장치
|
| 12 |
12
제 11 항에 있어서, 상기 제 1 네거티브 샘플의 선정은 상기 매칭 페어의 상기 포지티브 샘플 및 상기 클래스와 다른 클래스들에 속한 각각의 앵커 샘플을 페어의 요소로 포함하는 복수의 제 1 비매칭 페어들과 상기 매칭 페어의 상기 앵커 샘플 및 상기 클래스와 다른 클래스들에 속한 각각의 포지티브 샘플을 페어의 요소로 포함하는 복수의 제 2 비매칭 페어들을 제 1 네거티브 후보들로 채택하고, 상기 제 1 및 제 2 비매칭 페어들 중 최고의 유사도를 갖는 비매칭 페어에 속한 상기 다른 클래스의 앵커 샘플 또는 포지티브 샘플을 상기 제 1 네거티브 샘플로 선택하는 것인 이미지 딥러닝 모델 학습 장치
|
| 13 |
13
제 11 항에 있어서,상기 제 2 네거티브 샘플의 선정은 상기 제 1 네거티브 샘플을 구성하는 앵커 샘플 및 포지티브 샘플 중 어느 한 종류의 샘플을 페어의 제 1 요소로 포함함과 아울러서, 상기 매칭 페어, 상기 제 1 네거티브 샘플과 전부 상이한 클래스들에 속하며 상기 제 1 네거티브 샘플의 종류와 다른 종류로 구성된 각각의 샘플들을 페어의 제 2 요소로 포함하는 복수의 제 3 비매칭 페어들을 제 2 네거티브 후보로 채택하고, 상기 제 3 비매칭 페어들 중 최고의 유사도를 갖는 제 3 비매칭 페어에 속한 상기 다른 종류의 샘플을 상기 제 2 네거티브 샘플로 선정하는 이미지 딥러닝 모델 학습 장치
|
| 14 |
14
제 11항에 있어서, 상기 클래스는 이미지들에 대한 앵커 샘플과 포지티브 샘플을 동일 객체 별로 군집화하고, 상기 매칭 페어는 상기 동일 객체의 이미지 내에서 동일한 위치에 추출된 앵커 샘플과 포지티브 샘플의 쌍이며, 상기 앵커 샘플, 상기 포지티브 샘플, 상기 제 1 및 제 2 네거티브 샘플들은 이미지로부터 추출된 특징점 주위에 기 지정된 단위의 픽셀들로 취득되는 패치로 구성되는 이미지 딥러닝 모델 학습 장치
|
| 15 |
15
제 1 항에 있어서, 상기 유사도는 서로 다른 종류의 샘플들 간의 거리에 기초하여 산출되며, 상기 최고 유사도는 상기 샘플들 간의 거리들 중 최소 거리를 갖는 샘플을 네거티브 샘플로 판정하는 이미지 딥러닝 모델 학습 장치
|
| 16 |
16
제15항에 있어서, 상기 거리는 상기 앵커 샘플 및 상기 포지티브 샘플의 패치를 기술하는 디스크립터를 이용하여 산출되며, 상기 디스크립터는 n 차원의 벡터로 구성되는 이미지 딥러닝 모델 학습 장치
|
| 17 |
17
제 15 항에 있어서, 상기 거리는 상기 샘플들 간의 L2 거리인 이미지 딥러닝 모델 학습 장치
|
| 18 |
18
제 11 항에 있어서, 상기 손실 함수는 서로 다른 클래스들 간의 거리를 정의하는 인터 클래스 거리 함수와 동일한 클래스 내에서 샘플들 간의 거리를 정의하는 인트라 클래스 거리 함수를 포함하는 이미지 딥러닝 모델 학습 장치
|
| 19 |
19
제 18 항에 있어서, 상기 인터 클래스 거리 함수와 상기 인트라 클래스 거리 함수는 모든 클래스들을 적용한 합산 방식이 아닌, 각 클래스마다 산출되어, 각 클래스마다 손실 함수의 손실을 최소화하도록 상기 샘플들을 학습하는 이미지 딥러닝 모델 학습 장치
|
| 20 |
20
제 18 항에 있어서, 상기 인터 클래스 거리 함수는 제 1 마진을 포함하며, 상기 인트라 클래스 거리 함수는 제 2 마진을 포함하되, 상기 제 1 마진은 상기 제 2 마진보다 큰 값으로 설정되는 이미지 딥러닝 모델 학습 장치
|
