| 1 |
1
컴퓨팅 장치에 의해 수행되는 영상 판독 방법으로서,신경망에 기초해서 입력 영상으로부터 제1 특징 맵을 추출하는 단계,상기 신경망에 기초해서 상기 제1 특징 맵으로부터 복수의 어텐션 맵(attention maps)을 생성하는 단계,상기 복수의 어텐션 맵에 기초해서 콘텍스트(context) 정보를 생성하는 단계,상기 콘텍스트 정보를 상기 제1 특징 맵에 결합하여서 제2 특징 맵을 생성하는 단계, 그리고상기 신경망에 기초해서 상기 제2 특징 맵으로부터 상기 입력 영상의 판독 결과를 출력하는 단계를 포함하며,상기 콘텍스트 정보를 생성하는 단계는,상기 복수의 어텐션 맵과 상기 제1 특징 맵에 기초해서 복수의 벡터를 생성하는 단계, 그리고상기 복수의 벡터를 비교하여서 상기 콘텍스트 정보를 생성하는 단계를 포함하는영상 판독 방법
|
| 2 |
2
제1항에서,상기 복수의 벡터를 비교하여서 상기 콘텍스트 정보를 생성하는 단계는, 상기 복수의 벡터 중 두 벡터를 감산하여서 상기 복수의 벡터를 비교하는 단계를 포함하는 영상 판독 방법
|
| 3 |
3
제1항에서,상기 복수의 벡터를 생성하는 단계는상기 제1 특징 맵에 서로 다른 파라미터를 가지는 1×1 컨볼루션 연산을 각각 적용해서 상기 복수의 어텐션 맵을 생성하는 단계, 그리고각 어텐션 맵에 기초해서 상기 제1 특징 맵을 가중 평균하여 각 벡터를 생성하는 단계를 포함하는 영상 판독 방법
|
| 4 |
4
제3항에서,상기 복수의 벡터를 생성하는 단계는 상기 제1 특징 맵을 가중 평균하기 전에 각 어텐션 맵을 정규화하는 단계를 더 포함하는, 영상 판독 방법
|
| 5 |
5
제3항에서,상기 1×1 컨볼루션 연산은 상기 제1 특징 맵의 복수의 채널을 소정 개수의 채널 그룹으로 그룹화한 후에 수행되는 그룹 컨볼루션 연산인, 영상 판독 방법
|
| 6 |
6
제1항에서,상기 복수의 벡터에 기초해서 상기 콘텍스트 정보의 손실을 계산하는 단계, 그리고상기 손실을 상기 신경망으로 역전파하여서 상기 신경망을 갱신하는 단계를 더 포함하는 영상 판독 방법
|
| 7 |
7
제6항에서,상기 손실을 계산하는 단계는 상기 복수의 벡터의 직교 손실(orthogonal loss)에 기초해서 상기 손실을 계산하는 단계를 포함하는, 영상 판독 방법
|
| 8 |
8
제1항에서,상기 복수의 어텐션 맵을 생성하는 단계는 상기 복수의 어텐션 맵을 생성하기 전에 상기 제1 특징 맵을 정규화하는 단계를 포함하는, 영상 판독 방법
|
| 9 |
9
제8항에서,상기 제1 특징 맵을 정규화하는 단계는 상기 제1 특징 맵에서 상기 제1 특징 맵의 C차원의 평균 벡터를 감산하여 상기 제1 특징 맵을 정규화하는 단계를 포함하며,상기 C는 상기 제1 특징 맵의 채널 수를 지시하는영상 판독 방법
|
| 10 |
10
제9항에서,상기 평균 벡터에 기초해서 C개의 채널 중에서 특정 채널의 크기를 줄이는 채널 특징 벡터를 생성하는 단계를 더 포함하며,상기 제2 특징 맵을 생성하는 단계는 상기 콘텍스트 정보를 상기 제1 특징 맵에 결합한 특징 맵에 상기 채널 특징 벡터를 결합하는 단계를 포함하는영상 판독 방법
|
| 11 |
11
제10항에서,상기 채널 특징 벡터를 생성하는 단계는 상기 평균 벡터에 1×1 컨볼루션 연산과 활성화(activation) 함수를 적용하여 상기 채널 특징 벡터를 생성하는 단계를 포함하는, 영상 판독 방법
|
| 12 |
12
제11항에서,상기 1×1 컨볼루션 연산은 상기 평균 벡터의 C개의 채널을 소정 개수의 채널 그룹으로 그룹화한 후에 수행되는 그룹 컨볼루션 연산인, 영상 판독 방법
|
| 13 |
13
제1항에서,상기 제1 특징 맵이 C×H×W 차원인 경우, 상기 컨텍스트 정보는 C×1×1 차원이며,상기 C, H 및 W는 각각 상기 제1 특징 맵의 채널 수, 높이 및 폭을 지시하는영상 판독 방법
|
| 14 |
14
제1항에서,상기 입력 영상의 판독 결과를 출력하는 단계는상기 신경망에 기초해서 상기 제2 특징 맵으로부터 복수의 제2 어텐션 맵을 생성하는 단계,상기 복수의 제2 어텐션 맵에 기초해서 제2 콘텍스트 정보를 생성하는 단계,상기 제2 콘텍스트 정보를 상기 제2 특징 맵에 결합하여서 제3 특징 맵을 생성하는 단계, 그리고상기 신경망에 기초해서 상기 제3 특징 맵으로부터 상기 입력 영상의 판독 결과를 출력하는 단계를 포함하는 영상 판독 방법
|
| 15 |
15
제14항에서,상기 콘텍스트 정보의 손실을 계산하는 단계,상기 제2 콘텍스트 정보의 손실을 계산하는 단계,상기 콘텍스트 정보의 손실과 상기 제2 콘텍스트 정보의 손실에 기초해서 콘텍스트 손실을 계산하는 단계, 그리고상기 콘텍스트 손실을 상기 신경망으로 역전파하여서 상기 신경망을 갱신하는 단계를 더 포함하는 영상 판독 방법
|
| 16 |
16
명령어를 저장하는 메모리, 그리고상기 명령어를 실행함으로써, 신경망에 기초해서 입력 영상으로부터 제1 특징 맵을 추출하고, 상기 신경망에 기초해서 상기 제1 특징 맵으로부터 관심 영역을 나타내는 제1 벡터 및 상기 관심 영역에 대응하는 영역을 나타내는 제2 벡터를 생성하고, 상기 제1 벡터와 상기 제2 벡터를 비교하여서 콘텍스트 정보를 생성하고, 상기 콘텍스트 정보를 상기 제1 특징 맵에 결합하여서 제2 특징 맵을 생성하고, 상기 신경망에 기초해서 상기 제2 특징 맵으로부터 상기 입력 영상의 판독 결과를 출력하는 프로세서를 포함하는 영상 판독 장치
|
| 17 |
17
제16항에서,상기 프로세서는 상기 신경망에 기초해서 상기 제1 특징 맵으로부터 복수의 어텐션 맵을 생성하고, 상기 복수의 어텐션 맵에 기초해서 상기 제1 벡터와 상기 제2 벡터를 생성하는, 영상 판독 장치
|
| 18 |
18
컴퓨팅 장치에 의해 실행되며, 기록 매체에 저장되어 있는 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은 상기 컴퓨팅 장치가,신경망에 기초해서 입력 영상으로부터 제1 특징 맵을 추출하는 단계,상기 신경망에 기초해서 상기 제1 특징 맵으로부터 관심 영역을 나타내는 제1 벡터 및 상기 관심 영역에 대응하는 영역을 나타내는 제2 벡터를 생성하는 단계,상기 제1 벡터와 상기 제2 벡터를 비교하여서 콘텍스트 정보를 생성하는 단계,상기 콘텍스트 정보를 상기 제1 특징 맵에 결합하여서 제2 특징 맵을 생성하는 단계, 그리고상기 신경망에 기초해서 상기 제2 특징 맵으로부터 상기 입력 영상의 판독 결과를 출력하는 단계를 실행하도록 하는 컴퓨터 프로그램
|
| 19 |
19
제18항에서,상기 제1 벡터와 상기 제2 벡터를 생성하는 단계는상기 신경망에 기초해서 상기 제1 특징 맵으로부터 복수의 어텐션 맵을 생성하는 단계, 그리고상기 복수의 어텐션 맵에 기초해서 상기 제1 벡터와 상기 제2 벡터를 생성하는 단계를 포함하는 컴퓨터 프로그램
|
