| 1 |
1
시맨틱 분할 장치를 이용한 U-Net을 기반으로 하는 시맨틱 분할하는 방법에 있어서,위성영상을 입력받는 단계;상기 입력된 위성영상을 기 학습된 학습 모델에 적용하여 시맨틱 분할을 수행하는 단계; 및상기 시맨틱 분할이 수행된 위성영상을 제공하는 단계를 포함하며,상기 학습 모델은,ResNet 모델과 제로 패딩이 연결된 구조를 가지며 전이학습을 이용하여 특징 맵을 추출하는 복수의 인코더 블록;연결 블록으로부터 전달된 특징 맵에 대해 컨볼루션 레이어, 배치 정규화 및 정류 선형 유닛이 연결된 구조를 가지며 잔차학습을 이용한 복수의 디코더 블록; 및상기 인코더 블록 또는 디코더 블록으로부터 2개의 특징 맵을 수신하고, 그 중 1개의 특징 맵을 전치 컨볼루션을 통해 확장시켜 나머지 특징 맵과 결합하여 후위에 위치하는 디코더 블록에 전달하는 복수의 연결 블록을 포함하고상기 연결 블록은,제x 인코더 블록으로부터 사이즈의 특징 맵을 전달받고, 제x+1 인코더 블록으로부터 사이즈의 특징 맵을 전달받아 제1 디코더 블록에 사이즈의 특징 맵을 전달하거나 제x 인코더 블록으로부터 사이즈의 특징 맵을 전달받고, 제y-1 디코더 블록으로부터 사이즈의 특징맵을 전달받아 제y 디코더 블록에 사이즈의 특징 맵을 전달하는 시맨틱 분할 방법:여기서 n은 인코더 블록, 디코더 블록 및 연결 블록의 개수이고, x는 인코더 블록의 인덱스이며, y는 디코더 블록 및 연결 블록의 인덱스이고, x,a,b는 1 이상의 자연수이고, y는 2 이상의 자연수이다
|
| 2 |
2
제1항에 있어서,상기 인코더 블록, 디코더 블록 및 연결 블록은 동일한 개수를 가지는 시맨틱 분할 방법
|
| 3 |
3
제1항에 있어서,상기 인코더 블록, 디코더 블록 및 연결 블록은 각각 4개 이상의 개수로 이루어지는 시맨틱 분할 방법
|
| 4 |
4
제1항에 있어서,상기 복수의 연결 블록은,제3 인코더 블록 및 제4 인코더 블록으로부터 각각 제1 특징 맵 및 제2 특징 맵을 입력받아 변환된 제3 특징 맵을 제1 디코더 블록으로 전달하는 제1 연결 블록; 및제2 인코더 블록과 상기 제1 디코더 블록으로부터 각각 제4 특징 맵 및 제5 특징 맵을 입력받아 변환된 제6 특징 맵을 제2 디코더 블록으로 전달하는 제2 연결 블록을 포함하는 시맨틱 분할 방법
|
| 5 |
5
제4항에 있어서,제1 인코더 블록 및 상기 제2 디코더 블록으로부터 각각 제7 특징 맵 및 제8 특징 맵을 입력받아 변환된 제9 특징 맵을 제3 디코더 블록으로 전달하는 제3 연결 블록; 및상기 입력된 위성영상과 상기 제3 디코더 블록으로부터 각각 제10 특징 맵 및 제11 특징 맵을 입력받아 변환된 제12 특징 맵을 제4 디코더 블록으로 전달하는 제4 연결블록을 포함하는 시맨틱 분할 방법
|
| 6 |
6
제5항에 있어서,상기 제4 디코더 블록은,제12 특징 맵을 디코딩하고, 소프트 맥스 레이어(Softmax layer) 및 컨볼루션 레이어(Convolution layer)를 거쳐 위성영상에 시맨틱 분할을 수행하는 시맨틱 분할 방법
|
| 7 |
7
제4항에 있어서,상기 제2 특징 맵은 16×16×k 사이즈를 갖는 시맨틱 분할 방법
|
| 8 |
8
제1항에 있어서,상기 연결 블록은,다음의 수학식을 이용하여 사이즈가 적은 특징 맵을 두배로 확장시켜 나머지 특징 맵과 결합하는 시맨틱 분할 방법: 여기서, T는 전치 컨볼루션을 통해 확장된 특징 맵이고, I는 인코더 블록의 특징 맵이며, w는 위성영상의 가로 사이즈이고, h는 위성영상의 세로 사이즈이며, c는 채널 개수이다
|
| 9 |
9
제3항에 있어서,상기 디코더 블록은,다음의 수학식을 이용하여 상기 특징 맵에 잔차학습을 적용하여 연결하는 시맨틱 분할 방법: 여기서, F(x)는 특징 맵이 추가된 디코더 블록이고, A(x)는 컨볼루션 레이어 이후에 배치 정규화(Batch normalization, BN) 및 정류 선형 유닛(Rectified linear unit, ReLU)이 연결된 구조이며, x는 특징 맵이다
|
| 10 |
10
제1항에 있어서,상기 시맨틱 분할이 수행된 위성영상을 제공하는 단계는,상기 위성영상에 포함된 지형, 사물, 객체의 종류에 따라 시맨틱 분할이 수행된 위성영상을 제공하는 시맨틱 분할 방법
|
| 11 |
11
U-Net을 기반으로 하는 위성영상을 이용한 시맨틱 분할 장치에 있어서,위성영상을 입력받는 위성영상 입력부;상기 입력된 위성영상을 기 학습된 학습 모델에 적용하여 시맨틱 분할을 수행하는 시맨틱 분할부; 및상기 시맨틱 분할이 수행된 위성영상을 제공하는 영상 제공부를 포함하며,상기 학습 모델은,ResNet 모델과 제로 패딩이 연결된 구조를 가지며 전이학습을 이용하여 특징 맵을 추출하는 복수의 인코더 블록;연결 블록으로부터 전달된 특징 맵에 대해 컨볼루션 레이어, 배치 정규화 및 정류 선형 유닛이 연결된 구조를 가지며 잔차학습을 이용하는 복수의 디코더 블록; 및상기 인코더 블록 또는 디코더 블록으로부터 2개의 특징 맵을 수신하고, 그 중 1개의 특징 맵을 전치 컨볼루션을 통해 확장시켜 나머지 특징 맵과 결합하여 후위에 위치하는 디코더 블록에 전달하는 복수의 연결 블록을 포함하고,상기 연결 블록은,제x 인코더 블록으로부터 사이즈의 특징 맵을 전달받고, 제x+1 인코더 블록으로부터 사이즈의 특징 맵을 전달받아 제1 디코더 블록에 사이즈의 특징 맵을 전달하거나 제x 인코더 블록으로부터 사이즈의 특징 맵을 전달받고, 제y-1 디코더 블록으로부터 사이즈의 특징맵을 전달받아 제y 디코더 블록에 사이즈의 특징 맵을 전달하는 시맨틱 분할 장치:여기서 n은 인코더 블록, 디코더 블록 및 연결 블록의 개수이고, x는 인코더 블록의 인덱스이며, y는 디코더 블록 및 연결 블록의 인덱스이고, x,a,b는 1 이상의 자연수이고, y는 2 이상의 자연수이다
|
| 12 |
12
삭제
|
| 13 |
13
삭제
|
| 14 |
14
제11항에 있어서,상기 연결 블록은,다음의 수학식을 이용하여 사이즈가 적은 특징 맵을 두배로 확장시켜 나머지 특징 맵과 결합하는 시맨틱 분할 장치: 여기서, T는 전치 컨볼루션을 통해 확장된 특징 맵이고, I는 인코더 블록의 특징 맵이며, w는 위성영상의 가로 사이즈이고, h는 위성영상의 세로 사이즈이며, c는 채널 개수이다
|
| 15 |
15
제11항에 있어서,상기 디코더 블록은,다음의 수학식을 이용하여 상기 특징 맵에 잔차학습을 적용하여 연결하는 시맨틱 분할 장치: 여기서, F(x)는 특징 맵이 추가된 디코더 블록이고, A(x)는 컨볼루션 레이어 이후에 배치 정규화(Batch normalization, BN) 및 정류 선형 유닛(Rectified linear unit, ReLU)이 연결된 구조이며, x는 특징 맵이다
|
| 16 |
16
제11항에 있어서,상기 영상 제공부는,상기 위성영상에 포함된 지형, 사물, 객체의 종류에 따라 시맨틱 분할이 수행된 위성영상을 제공하는 시맨틱 분할 장치
|
