| 1 |
1
프로세서를 포함한 컴퓨팅 장치에 의해 수행되는, 광각 안저영상을 생성하기 위해 복수의 안저영상을 정합하는 방법에 있어서, 대상자의 안구를 촬영한 상기 복수의 안저영상을 획득하는 단계 - 상기 복수의 안저영상 중 적어도 하나의 안저영상은 적어도 하나의 다른 안저영상과 부분적으로 중첩됨; 상기 복수의 안저영상의 제1 안저영상을 제2 안저영상과 정합하는 단계; 및 광각 안저영상을 생성하기 위해, 재-정합 결과에 기초하여 제1 안저영상의 적어도 일부 영역과 상기 제2 안저영상의 적어도 일부가 중첩한 합성영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 2 |
2
제1항에 있어서, 상기 제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상과 제2 안저영상을 정합하는 단계는, 영상의 크기와 회전에 불변하는 특징을 추출하는 특징 서술자를 통해 적어도 하나의 특징점을 상기 제1 및 제2 안저영상에서 추출하는 단계; 상기 제1 및 제2 안저영상에서 추출된 특징점 중 하나 이상의 특징점을 샘플링하는 단계; 및 샘플링된 특징점에 기초하여 상기 제1 및 제2 안저영상을 강체 정합하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 3 |
3
제1항에 있어서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는, 상기 제1 안저영상 내 영역 특성에 기초한 분할 모델을 이용하여 상기 제1 안저영상의 적어도 일부의 혈관 형상을 추출하는 단계; 및 혈관 영역에 대응한 형상을 갖는 혈관 마스크를 생성하는 단계를 포함하고, 상기 분할 모델은, 혈관 영역의 특성에 기초하여 학습된 모델로서, 입력영상 내 혈관을 혈관 확률맵(Vessel Probaibility Map)으로 출력하도록 학습된 것을 특징으로 하는 방법
|
| 4 |
4
제3항에 있어서, 상기 제1 안저영상에서 제1 혈관 마스크를 생성하는 단계는, 추출된 혈관 형상을 혈관 영역으로 포함한 영상을 이진화하여 이진화 혈관 마스크를 생성하는 단계;이진화 혈관 마스크를 포함한 영상을 반전(inverted) 처리하여 혈관과 외부 경계 사이의 밸리(velly)를 검출하는 단계; 및 밸리 내부가 상기 혈관을 나타내도록 상기 밸리 내부를 채우는 단계를 더 포함하는 것을 특징으로 하는 방법
|
| 5 |
5
제1항에 있어서, 상기 제1 및 제2 혈관 마스크에 기초하여 상기 제1 안저영상과 제2 안저영상을 재-정합하는 단계는, 상기 제1 혈관 마스크와 제2 혈관 마스크를 변형 정합(deformable registration)하여 제1 안저영상과 제2 안저영상을 재-정합하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 6 |
6
제1항에 있어서, 상기 광각 안저영상을 생성하는 단계는, 재-정합 영상을 기준으로 상기 제1 안저영상의 픽셀에 대응하는 제2 안저 영상의 픽셀이 상기 제1 안저영상의 픽셀과 동일한 세기(intensity) 또는 색상(colour)을 갖도록 변형하는 단계; 및 상기 변형된 픽셀로 이루어진 영역을 포함한 광각 안저영상을 생성하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 7 |
7
제1항에 있어서, 상기 제1 영역 내 혈관의 적어도 일부를 나타낸 제1 혈관 마스크를 생성하는 단계는, 복수의 제1 안저영상이 획득된 경우, 각각의 제1 안저영상의 특징점에 기초하여 상기 복수의 제1 안저영상을 정합하는 단계; 안저영상 내 영역 특성에 기초한 분할 모델을 이용하여 상기 제1 안저영상에서 제1 영역의 적어도 일부의 혈관 형상을 추출하는 단계; 및 상기 복수의 제1 안저영상의 추출된 혈관 형상에 기초하여 제1 혈관 마스크를 생성하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 8 |
8
제7항에 있어서, 상기 복수의 제1 안저영상의 추출된 혈관 형상에 기초하여 제1 혈관 마스크를 생성하는 단계는, 복수의 제1 안저영상의 추출된 혈관 형상을 비강체 정합하는 단계; 및 정합된 복수의 혈관 형상에 기초하여 상기 제1 혈관 마스크를 생성하는 단계를 포함하는 것을 특징으로 하는 방법
|
| 9 |
9
제8항에 있어서, 상기 비강체 정합하는 단계는, 서로 다른 두 개의 제1 안저영상의 혈관 확률맵에서 픽셀별(pixel-wise) 유사도가 높아지는 방향으로 정합하는 것을 특징으로 하는 방법
|
| 10 |
10
제1항에 있어서, 상기 방법은: 상기 복수의 안저영상을 정합하기 이전에, 상기 복수의 안저영상에서 시신경 유두(optic disc) 및 중심와(fovea) 중 적어도 하나를 검출하여 상기 시신경 유두 및 중심와 중 적어도 하나의 위치를 산출하는 단계; 상기 시신경 유두와 중심와의 검출 여부에 따라 상기 복수의 안저영상을 복수의 그룹으로 분류하는 단계; 및적어도 하나의 그룹에 대해서, 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 단계;를 더 포함하고, 상기 제1 및 제2 안저영상을 정합하고 합성영상을 생성하는 단계는 각 그룹에 포함된 안저영상들이 전부 정합될 때까지 반복되며, 상기 제1 및 제2 안저영상을 정합하고 합성영상을 생성하는 단계에서 상기 제1 안저영상은 초기 안저영상 또는 이미 생성된 합성영상이고 상기 제2 안저영상은 현재의 정합 순위를 갖는 안저영상인 것을 특징으로 하는 방법
|
| 11 |
11
제10항에 있어서, 상기 시신경 유두 및 중심와 중 적어도 하나를 검출하여 위치를 산출하는 단계는, 딥러닝 모델을 사용해서 입력된 안저영상의 영상 프레임에서 시신경 유두 및 중심와 중 적어도 하나를 검출하고, 상기 딥러닝 모델은: 다수의 컨볼루션 레이어를 포함하며 컨볼루션 특징맵을 출력하는 공유 컨볼루션 네트워크; 입력된 컨볼루션 특징맵에 슬라이딩 윈도우 방식을 적용하여 중간 특징맵을 생성하고, 상기 중간 특징맵에 기초하여 후보 객체가 위치할 가능성이 있는 관심지역을 예측하는 지역 지정 네트워크; 및 풀링 레이어 및 완전연결 레이어를 포함하며 검출 모델에 초기 입력된 영상 프레임에서 관심지역에 대한 특징 벡터에 기초하여 상기 관심지역에서 시신경 유두 또는 중심와를 검출하는 객체 검출 네트워크를 포함하는 것을 특징으로 하는 방법
|
| 12 |
12
제10항에 있어서, 상기 복수의 안저영상을 복수의 그룹으로 분류하는 단계는: 상기 시신경 유두 및 중심와가 모두 검출된 안저영상을 제1 그룹으로 분류하는 단계; 상기 시신경 유두만이 검출된 안저영상을 제2 그룹으로 분류하는 단계; 상기 중심와만이 검출된 안저영상을 제3 그룹으로 분류하는 단계; 및 상기 시신경 유두 및 중심와가 모두 검출되지 않은 안저영상을 제4 그룹으로 분류하는 단계 중 적어도 하나의 단계를 포함하는 것을 특징으로 하는 방법
|
| 13 |
13
제12항에 있어서, 상기 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 단계는: 상기 제1 그룹 내지 제3 그룹 중 적어도 하나의 그룹에 대해서, 각 그룹별로 각각의 기준 안저영상을 선택하는 단계; 및 상기 기준 안저영상을 사용하여 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 단계를 포함하고, 상기 제1 그룹의 안저영상들에 대한 제1 그룹 내 정합 순위는 제1 그룹의 기준 안저영상의 시신경 유두와 제1 그룹 내 다른 안저영상 간의 거리에 기초하여 할당되고, 상기 제2 그룹의 안저영상들에 대한 제2 그룹 내 정합 순위는 제2 그룹의 기준 안저영상의 시신경 유두와 제2 그룹 내 다른 안저영상 간의 거리에 기초하여 할당되고,상기 제3 그룹의 안저영상들에 대한 제3 그룹 내 정합 순위는 제3 그룹의 기준 안저영상의 시신경 유두와 제3 그룹 내 다른 안저영상 간의 거리에 기초하여 할당되는 것을 특징으로 하는 방법
|
| 14 |
14
제13항에 있어서, 상기 제1 그룹 또는 제2 그룹의 기준 안저영상은 각 안저영상의 검출된 시신경 유두의 위치가 영상 프레임의 중심의 위치에 가장 가까운 것을 특징으로 하는 방법
|
| 15 |
15
제13항에 있어서, 상기 제3 그룹의 기준 안저영상은 상기 제3 그룹 내 각 안저영상의 검출된 중심와의 위치가 영상 중심의 위치에 가장 가까운 것을 특징으로 하는 방법
|
| 16 |
16
제12항에 있어서, 상기 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 단계는: 상기 제4 그룹별 안저영상에 대해 제4 그룹 내 정합 순위를 할당하는 단계를 포함하고, 상기 제4 그룹 내 정합 순위는 상기 제4 그룹 내 각 안저영상의 특징점이 상기 제1 안저영상의 특징점에 매칭하는 정도에 기초하여 할당되는 것을 특징으로 하는 방법
|
| 17 |
17
제12항에 있어서, 그룹 간의 정합 순위를 설정하는 단계를 더 포함하고, 상기 그룹 간의 정합 순위는 상기 제1 그룹, 제2 그룹, 제3 그룹 및 제4 그룹의 순서 또는 상기 제1 그룹, 상기 제3 그룹, 상기 제2 그룹 및 제4 그룹의 순서로 설정되는 것을 특징으로 하는 방법
|
| 18 |
18
컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제17항 중 어느 하나의 항에 따른 광각 안저영상을 생성하기 위해 복수의 안저영상을 정합하는 방법을 수행하게 하는 컴퓨터 판독가능 기록매체
|
| 19 |
19
안저 카메라에 의해 촬영된 복수의 안저영상을 획득하는 영상 획득부 - 상기 상기 복수의 안저영상 중 적어도 하나의 안저영상은 적어도 하나의 다른 안저영상과 부분적으로 중첩됨;제1 및 제2 안저영상의 특징점에 기초하여 제1 안저영상과 제2 안저영상을 정합하고, 상기 제1 영역 내 혈관의 적어도 일부를 나타낸 제1 혈관 마스크를 생성하고, 상기 2 영역 내 혈관의 적어도 일부를 나타낸 제2 혈관 마스크를 생성하며, 상기 제1 및 제2 혈관 마스크에 기초하여 상기 제1 안저영상과 제2 안저영상을 재-정합하는 정합부; 및 광각 안저영상을 생성하기 위해, 재-정합 결과에 기초하여 제1 안저영상의 적어도 일부 영역과 상기 제2 안저영상의 적어도 일부가 중첩한 합성영상을 생성하는 합성부를 포함하는 장치
|
| 20 |
20
안저 카메라에 의해 촬영된 복수의 안저영상을 획득하는 영상 획득부 - 상기 상기 복수의 안저영상 중 적어도 하나의 안저영상은 적어도 하나의 다른 안저영상과 부분적으로 중첩됨; 상기 복수의 안저영상을 정합하기 이전에, 상기 복수의 안저영상에서 시신경 유두(optic disc) 및 중심와(fovea) 중 적어도 하나를 검출하고, 상기 시신경 유두와 중심와의 검출 여부에 따라 상기 복수의 안저영상을 복수의 그룹으로 분류하고, 그리고 적어도 하나의 그룹에 대해서, 해당 그룹별 안저영상에 대해 상기 해당 그룹 내 정합 순위를 할당하는 분류부; 각 그룹에 포함된 안저영상들에 대해서, 해당 그룹 내 정합 순위에 기초하여 현재의 정합 순위를 갖는 안저영상을 이전 정합 순위까지의 적어도 하나의 안저영상을 정합하여 생성된 합성영상과 정합하는 정합부; 및 광각 안저영상을 생성하기 위해, 정합 결과에 기초하여 현재의 정합 순위를 갖는 안저영상을 이전 정합 순위까지의 적어도 하나의 안저영상을 정합하여 생성된 합성영상으로부터 새로운 합성영상을 생성하는 합성부를 포함하는 것을 특징으로 하는 장치
|
