| 1 |
1
양방향 순환네트워크 기반 퓨샷 러닝(few-shot learning)을 적용하는 3차원 영상 영역화(segmentation) 방법으로서,영역화의 대상이 되는 3차원 영상 데이터인 쿼리 이미지, 상기 쿼리 이미지의 영역화를 위해 참조로 사용되는 3차원 서포트 이미지 및 상기 서포트 이미지에서 영역화 객체가 표시된 서포트 레이블을 획득하는 단계;3차원 영상 데이터 영역화를 수행하도록 훈련된 학습 모델을 로딩하는 단계; 및상기 쿼리 이미지, 상기 서포트 이미지 및 상기 서포트 레이블에 상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 단계를 포함하고,상기 학습 모델은 입력되는 3차원 영상 데이터를 n개의 2차원 슬라이스 이미지로 변환하고, 적어도 1 개의 슬라이스 이미지에 대해, 현재 슬라이스 이미지의 영역화 과정에서 이전 슬라이스 이미지에 대한 영역화 과정에서의 출력값 및 다음 슬라이스 이미지의 영역화 과정에서의 출력값을 참조하여 상기 현재 슬라이스 이미지의 영역화를 수행하도록 구성되는, 3차원 영상 영역화 방법
|
| 2 |
2
제 1 항에 있어서,상기 서포트 이미지는 K 개의 서포트 이미지이고,상기 서포트 레이블은 K 개의 서포트 레이블이며,상기 방법은, 상기 로딩하는 단계 이후, 상기 출력하는 단계 이전에,K 개의 서포트 이미지 중 1 개의 서포트 이미지 및 서포트 레이블을 레이블링된 쿼리 이미지로, 나머지 K-1 개의 서포트 이미지 및 서포트 레이블을 추가 훈련을 위한 서포트 이미지 세트 및 서포트 레이블 세트로 이용하여 상기 학습 모델에 대한 추가 훈련을 수행하는 단계를 더 포함하는,3차원 영상 영역화 방법
|
| 3 |
3
제 1 항에 있어서,상기 학습 모델은,영상 데이터 영역화를 위한 초기 모델을 구성하는 단계;상기 초기 모델에 대해, 제 1 종류의 객체에 대한 영역화를 요청하는 제 1 쿼리 이미지, 제 1 서포트 이미지, 상기 제 1 서포트 이미지에 상기 제 1 종류의 객체에 대한 영역화가 수행된 제 1 서포트 레이블, 상기 제 1 쿼리 이미지에서 제 1 종류의 객체에 대한 영역화가 이루어진 제 1 레이블 이미지를 이용하여 제 1 훈련을 수행하는 단계;상기 제 1 훈련을 수행하는 단계에 의해 도출된 학습 모델에 대해, 제 2 종류의 객체에 대한 영역화를 요청하는 제 2 쿼리 이미지, 제 2 서포트 이미지, 상기 제 2 서포트 이미지에 상기 제 2 종류의 객체에 대한 영역화가 수행된 제 2 서포트 레이블, 상기 제 2 쿼리 이미지에서 제 2 종류의 객체에 대한 영역화가 이루어진 제 2 레이블 이미지를 이용하여 제 2 훈련을 수행하는 단계; 및상기 제 2 훈련을 수행하는 단계에 의해 도출된 학습 모델에 대해, 제 3 종류의 객체에 대한 영역화를 요청하는 제 3 쿼리 이미지, 제 3 서포트 이미지 및 상기 제 3 종류의 객체에 대한 영역화가 수행된 제 3 서포트 레이블을 입력하여 도출되는 출력 이미지를 체크하는 테스트 단계를 포함하는 훈련 페이즈(phase)에 의해 훈련된,3차원 영상 영역화 방법
|
| 4 |
4
제 3 항에 있어서,상기 테스트 단계는,상기 출력 이미지를 상기 제 3 쿼리 이미지에서 상기 제 3 종류의 객체에 대한 영역화가 수행된 제 3 레이블 이미지와 비교하여 유사도를 평가하는 단계를 포함하는,3차원 영상 영역화 방법
|
| 5 |
5
제 1 항에 있어서,상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 단계는,상기 서포트 이미지의 복수의 2차원 슬라이스 이미지 및 상기 서포트 이미지에 대응하는 서포트 레이블의 복수의 2차원 슬라이스 이미지를 서포트 인코더 모듈에 입력하는 단계;상기 서포트 이미지의 복수의 2차원 슬라이스에 대응하는 상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지를 쿼리 인코더 모듈에 입력하는 단계;상기 서포트 인코더 모듈에서 상기 서포트 이미지의 복수의 2차원 슬라이스 이미지 및 상기 서포트 레이블의 복수의 2차원 슬라이스 이미지의 특징맵을 각각 추출하는 단계; 및상기 쿼리 인코더 모듈에서 상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지의 특징맵을 추출하는 단계를 포함하는,3차원 영상 영역화 방법
|
| 6 |
6
제 5 항에 있어서,상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 단계는,각각의 슬라이스 이미지에 대해, 상기 서포트 인코더 모듈에서 추출된 특징맵과 상기 쿼리 인코더 모듈에서 추출된 특징맵을 결합하는 단계;기설정된 조건을 통해 연속적으로 배열된 슬라이스 이미지들에서 인접 슬라이스 이미지를 선택하는 단계; 및순환 신경망에 기반하여 상기 선택된 인접 슬라이스 이미지 간의 특징 관계를 추출하는 단계를 더 포함하는,3차원 영상 영역화 방법
|
| 7 |
7
제 6 항에 있어서,상기 인접 슬라이스 이미지 간의 특징 관계를 추출하는 단계는,순환 신경망에 기반하여, 상기 선택된 인접 슬라이스 이미지에서 순방향으로 특징맵이 순차적으로 전달된 후, 역방향으로 특징맵이 전달되는 단계; 및전달된 인접 슬라이스 이미지의 특징맵에 기반하여 각 슬라이스 이미지의 특징맵이 업데이트 되는 단계를 포함하는,3차원 영상 영역화 방법
|
| 8 |
8
제 6 항에 있어서,상기 순환 신경망은, RNN(Recurrent Neural Network), LSTM(Long Short term Memory) 및 GRU(Gated Recurrent Unit) 중 하나로 구성되는,3차원 영상 영역화 방법
|
| 9 |
9
제 7 항에 있어서,상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 단계는,상기 각 슬라이스 이미지의 업데이트 된 특징맵을 디코더 모듈에 입력하는 단계; 및상기 디코더 모듈에서 상기 각 슬라이스 이미지의 업데이트 된 특징맵을 기반으로 디코딩하여 임의의 3차원 영상 데이터 영역화 태스크에 대한 영역화를 수행하는 단계를 더 포함하는,3차원 영상 영역화 방법
|
| 10 |
10
제 9 항에 있어서,상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 단계는,상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지의 로우 레벨 특징맵을 스킵 연결(skip connection)을 통해 디코더 모듈에 입력하는 단계를 더 포함하는,3차원 영상 영역화 방법
|
| 11 |
11
제 10 항에 있어서,상기 영역화를 수행하는 단계는,상기 디코더 모듈에서 상기 각 슬라이스 이미지의 업데이트 된 특징맵과 상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지의 로우 레벨 특징맵에 기반하여 임의의 3차원 영상 데이터 영역화 태스크에 대한 영역화를 수행하는 단계를 포함하는,3차원 영상 영역화 방법
|
| 12 |
12
제 1 항에 있어서,상기 방법은, 상기 로딩하는 단계 이후, 상기 출력하는 단계 이전에,서포트 이미지에서 샘플링 된 이미지를 추가 학습을 위한 서포트 이미지와 쿼리 이미지로 설정하여 상기 학습 모델의 파라미터를 업데이트 하는 전이(transfer) 학습을 수행하는 단계를 더 포함하는,3차원 영상 영역화 방법
|
| 13 |
13
제 12 항에 있어서,상기 전이 학습을 수행하는 단계는,서포트 이미지가 K 개일 때, K1 개를 추가 학습을 위한 서포트 이미지로 설정하고 나머지 1 개를 추가 학습을 위한 쿼리 이미지로 설정하는 단계; 및상기 K-1 개의 추가 학습을 위한 서포트 이미지와 상기 추가 학습을 위한 쿼리 이미지를 이용하여 상기 학습 모델을 업데이트하는 단계; 및모든 서포트 이미지에 대해, 한 번씩 쿼리 이미지로 설정되도록 하여 상기 업데이트하는 단계를 반복하는 단계를 포함하는,3차원 영상 영역화 방법
|
| 14 |
14
양방향 순환네트워크 기반 퓨샷 러닝(few-shot learning)을 적용하는 3차원 영상 영역화(segmentation) 장치로서,메모리; 및상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고,상기 적어도 하나의 프로세서는,영역화의 대상이 되는 3차원 영상 데이터인 쿼리 이미지, 상기 쿼리 이미지의 영역화를 위해 참조로 사용되는 3차원 서포트 이미지 및 상기 서포트 이미지에서 영역화 객체가 표시된 서포트 레이블을 획득하는 동작,3차원 영상 데이터 영역화를 수행하도록 훈련된 학습 모델을 로딩하는 동작, 및상기 쿼리 이미지, 상기 서포트 이미지 및 상기 서포트 레이블에 상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 동작을 수행하도록 구성되고,상기 학습 모델은 입력되는 3차원 영상 데이터를 n개의 2차원 슬라이스 이미지로 변환하고, 적어도 1 개의 슬라이스 이미지에 대해, 현재 슬라이스 이미지의 영역화 과정에서 이전 슬라이스 이미지에 대한 영역화 과정에서의 출력값 및 다음 슬라이스 이미지의 영역화 과정에서의 출력값을 참조하여 상기 현재 슬라이스 이미지의 영역화를 수행하도록 구성되는, 3차원 영상 영역화 장치
|
| 15 |
15
제 14 항에 있어서,상기 서포트 이미지는 K 개의 서포트 이미지이고,상기 서포트 레이블은 K 개의 서포트 레이블이며,상기 적어도 하나의 프로세서는, 상기 로딩하는 동작 이후, 상기 출력하는 동작 이전에,K 개의 서포트 이미지 중 1 개의 서포트 이미지 및 서포트 레이블을 레이블링된 쿼리 이미지로, 나머지 K-1개 의 서포트 이미지 및 서포트 레이블을 추가 훈련을 위한 서포트 이미지 세트 및 서포트 레이블 세트로 이용하여 상기 학습 모델에 대한 추가 훈련을 수행하는 동작을 더 포함하는,3차원 영상 영역화 장치
|
| 16 |
16
제 14 항에 있어서,상기 학습 모델은,영상 데이터 영역화를 위한 초기 모델을 구성하는 단계;상기 초기 모델에 대해, 제 1 종류의 객체에 대한 영역화를 요청하는 제 1 쿼리 이미지, 제 1 서포트 이미지, 상기 제 1 서포트 이미지에 상기 제 1 종류의 객체에 대한 영역화가 수행된 제 1 서포트 레이블, 상기 제 1 쿼리 이미지에서 제 1 종류의 객체에 대한 영역화가 이루어진 제 1 레이블 이미지를 이용하여 제 1 훈련을 수행하는 단계;상기 제 1 훈련을 수행하는 단계에 의해 도출된 학습 모델에 대해, 제 2 종류의 객체에 대한 영역화를 요청하는 제 2 쿼리 이미지, 제 2 서포트 이미지, 상기 제 2 서포트 이미지에 상기 제 2 종류의 객체에 대한 영역화가 수행된 제 2 서포트 레이블, 상기 제 2 쿼리 이미지에서 제 2 종류의 객체에 대한 영역화가 이루어진 제 2 레이블 이미지를 이용하여 제 2 훈련을 수행하는 단계; 및상기 제 2 훈련을 수행하는 단계에 의해 도출된 학습 모델에 대해, 제 3 종류의 객체에 대한 영역화를 요청하는 제 3 쿼리 이미지, 제 3 서포트 이미지 및 상기 제 3 종류의 객체에 대한 영역화가 수행된 제 3 서포트 레이블을 입력하여 도출되는 출력 이미지를 체크하는 테스트 단계를 포함하는 훈련 페이즈(phase)에 의해 훈련된,3차원 영상 영역화 장치
|
| 17 |
17
제 16 항에 있어서,상기 테스트 단계는,상기 출력 이미지를 상기 제 3 쿼리 이미지에서 상기 제 3 종류의 객체에 대한 영역화가 수행된 제 3 레이블 이미지와 비교하여 유사도를 평가하는 단계를 포함하는,3차원 영상 영역화 장치
|
| 18 |
18
제 14 항에 있어서,상기 학습 모델을 적용하여 상기 쿼리 이미지 상에 상기 영역화 객체와 같은 종류의 객체가 영역화된 결과 이미지를 출력하는 동작은,상기 서포트 이미지의 복수의 2차원 슬라이스 이미지 및 상기 서포트 이미지에 대응하는 서포트 레이블의 복수의 2차원 슬라이스 이미지를 서포트 인코더 모듈에 입력하는 동작,상기 서포트 이미지의 복수의 2차원 슬라이스에 대응하는 상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지를 쿼리 인코더 모듈에 입력하는 동작,상기 서포트 인코더 모듈에서 상기 서포트 이미지의 복수의 2차원 슬라이스 이미지 및 상기 서포트 레이블의 복수의 2차원 슬라이스 이미지의 특징맵을 각각 추출하는 동작, 및상기 쿼리 인코더 모듈에서 상기 쿼리 이미지의 복수의 2차원 슬라이스 이미지의 특징맵을 각각 추출하는 동작을 포함하는,3차원 영상 영역화 장치
|
