| 1 |
1
프로세서; 및 상기 프로세서에 전기적으로 연결되고, 합성곱 신경망이 저장된 메모리;를 포함하고,상기 메모리는,미리 설정된 방법에 따라 제1 안구영상에 대한 제1 혈관분할영상 및 제2 안구영상에 대한 제2 혈관분할영상을 생성하고, 상기 제1 혈관분할영상을 이용하여 제1 혈관그래프를 생성하고, 상기 제2 혈관분할영상을 이용하여 제2 혈관그래프를 생성하며, 상기 제1 혈관그래프 및 상기 제2 혈관그래프를 비교하여 상기 합성곱 신경망을 통해 질환 유무를 판단하는 인스트럭션들을 포함하되,상기 제1 안구영상은 상기 제2 안구영상보다 먼저 생성된 영상인, 자동 질환 판단 장치
|
| 2 |
2
제1항에 있어서, 상기 메모리는,상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 동맥 중심선을 추출하고, 상기 동맥 중심선을 이용하여 동맥 분기점을 추출하며, 상기 동맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함하는, 자동 질환 판단 장치
|
| 3 |
3
제2항에 있어서, 상기 메모리는,상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 정맥 중심선을 추출하고, 상기 정맥 중심선을 이용하여 정맥 분기점을 추출하며, 상기 정맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함하는, 자동 질환 판단 장치
|
| 4 |
4
제3항에 있어서,상기 메모리는, 상기 동맥 분기점을 연결하는 동맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하고, 상기 정맥 분기점을 연결하는 정맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 인스트럭션들을 더 포함하는, 자동 질환 판단 장치
|
| 5 |
5
제1항에 있어서,상기 메모리는, 상기 제1 혈관그래프와 상기 제2 혈관그래프를 정합하여 상이한 부분을 관측하고, 상기 상이한 부분을 이용하여 미리 학습된 상기 합성곱 신경망을 이용하여 상기 질환 유무를 판단하는 인스트럭션들을 더 포함하되,상기 합성곱 신경망은 질병의 종류와 시간 변화에 따른 혈관그래프 변화의 상관 관계를 통해 미리 학습된 것임을 특징으로 하는, 자동 질환 판단 장치
|
| 6 |
6
자동 질환 판단 장치에서 수행되는 자동 질환 판단 방법에 있어서,미리 설정된 방법에 따라 제1 안구영상에 대한 제1 혈관분할영상 및 제2 안구영상에 대한 제2 혈관분할영상을 생성하는 단계;상기 제1 혈관분할영상을 이용하여 제1 혈관그래프를 생성하고, 상기 제2 혈관분할영상을 이용하여 제2 혈관그래프를 생성하는 단계; 및 상기 제1 혈관그래프 및 상기 제2 혈관그래프를 비교하여 질환 유무를 판단하는 단계;를 포함하되, 상기 제1 안구영상은 상기 제2 안구영상보다 먼저 생성된 영상인, 자동 질환 판단 방법
|
| 7 |
7
제6항에 있어서, 상기 제1 혈관그래프를 생성하는 단계는,상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 동맥 중심선을 추출하는 단계;상기 동맥 중심선을 이용하여 동맥 분기점을 추출하는 단계; 및 상기 동맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 포함하는, 자동 질환 판단 방법
|
| 8 |
8
제7항에 있어서, 상기 제2 혈관그래프를 생성하는 단계는,상기 제1 혈관분할영상 또는 상기 제2 혈관분할영상에서 정맥 중심선을 추출하는 단계;상기 정맥 중심선을 이용하여 정맥 분기점을 추출하는 단계; 및 상기 정맥 분기점을 미리 설정된 방법에 따라 연결하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 더 포함하는, 자동 질환 판단 방법
|
| 9 |
9
제8항에 있어서,상기 제1 혈관그래프 및 상기 제2 혈관그래프를 생성하는 단계는,상기 동맥 분기점을 연결하는 동맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계; 및 상기 정맥 분기점을 연결하는 정맥의 굵기 및 길이를 반영하여 상기 제1 혈관그래프 또는 상기 제2 혈관그래프를 생성하는 단계;를 더 포함하는, 자동 질환 판단 방법
|
| 10 |
10
제6항에 있어서,상기 질환 유무를 판단하는 단계는,상기 제1 혈관그래프와 상기 제2 혈관그래프를 정합하여 상이한 부분을 관측하는 단계; 및 상기 상이한 부분을 이용하여 미리 학습된 합성곱 신경망을 이용하여 상기 질환 유무를 판단하는 단계;를 포함하되,상기 합성곱 신경망은 질병의 종류와 시간 변화에 따른 혈관그래프 변화의 상관 관계를 통해 미리 학습된 것임을 특징으로 하는, 자동 질환 판단 방법
|
| 11 |
11
제6항에 있어서,상기 제1 혈관분할영상을 생성하는 단계는, 환자의 안저 영상(FP image)과 형광안저혈관조영 영상(FAG image)의 프레임들을 취득하는 단계;형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 강체 정합(rigid registration)하는 단계;형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영영상(FAG image)의 혈관 추출을 수행하는 단계;형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합하는 단계;안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행하는 단계;상기 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행하는 단계; 및상기 정합된 결과를 기초로 혈관을 분할하는 단계;를 포함하는, 자동 질환 판단 방법
|
| 12 |
12
제11항에 있어서,상기 형광안저혈관조영 영상(FAG image)의 각 프레임들을 특징점 정합 기법을 활용하여 강체정합(rigid registration)하는 단계는, 특징점 검출, 특징점 기술자 추출, 특징점 정합 과정 중 RANSAC(RANdom Sample Consensus)를 사용하여 형광안저혈관조영 영상(FAG image)의 정합을 수행하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
| 13 |
13
제11항에 있어서,상기 딥러닝은 학습된 컨볼루셔널 신경망(convolutional neural network : CNN)이고, 상기 형광안저혈관조영 영상(FAG image)의 특성에 맞춰 딥러닝 기반으로 정합된 형광안저혈관조영 영상(FAG image)의 혈관 추출을 수행하는 단계는, 형광안저혈관조영 영상(FAG image)에서의 혈관을 바탕으로 딥러닝 기반의 FAG Vessel Probability map(FAGVP)를 도출하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
| 14 |
14
제11항에 있어서,상기 형광안저혈관조영 영상(FAG image) 프레임들의 혈관 추출 결과를 평균값으로 통합하는 단계는, FAGVP에서 B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 비강체 정합(non-rigid registration)을 수행하고 정합된 FAGVP의 Average FAG Vessel Probability map(A-FAGVP)의 평균값 및 동일한 pixel 위치별 최대값을 추출한 Maximum FAG Vessel Probability map(M-FAGVP)을 도출하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
| 15 |
15
제11항에 있어서,상기 안저 영상의 특성에 맞춰 딥러닝 기반으로 안저 영상의 혈관 추출을 수행하는 단계는, 안저 영상(FP image)과 A-FAGVP 간의 정합을 위해 딥러닝 기반의 Fundus Photo Vessel Probability map(FPVP)을 도출하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
| 16 |
16
제11항에 있어서,상기 추출된 혈관으로부터 형광안저혈관조영 영상(FAG image)과 안저 영상(FP image)의 정합을 수행하는 단계는,FPVP와 A-FAGVP에서 도출된 혈관으로부터 챔퍼 매칭(Chamfer Matching) 기법을 이용하여 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 강체 정합(rigid registration)을 수행하는 단계; 및B-Spline 모델로 표현되는 좌표격자의 free-form deformation 기법을 기반으로 하는 최종 안저 영상-형광안저혈관조영 영상(FP-FAG) 간 비강체 정합(non-rigid registration)을 수행하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
| 17 |
17
제11항에 있어서,상기 정합된 결과를 기초로 혈관을 분할하는 단계는,A-FAGVP의 픽셀별 확률값을 기반으로 이중 역치(hysteresis thresholding) 기법을 적용하여 이진(binary) 혈관 분할 마스크(vessel segmentation mask)를 도출하는 단계;도출된 혈관 분할 마스크에 연결된 요소 분석(connected component analysis) 기법을 적용하여 노이즈를 제거하는 단계; 및정맥(vein)에 발생하는 틈새까지 보강된 정합된 A-FAGVP를 바탕으로 분할(segmentation)하는 단계;를 포함하는 것을 특징으로 하는 자동 질환 판단 방법
|
