1 |
1
CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 단계,상기 CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계,상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계 상기 상악 모델과 상기 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 단계,상기 좌표를 3D 히트맵(Heat map)으로 변환하는 단계,복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계,학습된 상기 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 3D 히트맵을 예측하는 단계, 그리고예측된 상기 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 단계를 포함하고,상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 단계는,상기 CT영상과 상기 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 방법
|
2 |
2
제1항에서,상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 단계는,상기 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상기 상악 3D 스캐너 영상과 상기 하악 3D 스캐너 영상으로 각각 분할하는 단계인 치아 랜드마크 자동 검출 방법
|
3 |
3
삭제
|
4 |
4
제1항에서,상기 점대점 방식으로 상기 상악 모델 상기 하악 모델을 생성할 때, 상기 CT 영상과 상기 3D 치과 스캐너 영상이 상기 점대점 방식으로 정확하게 매칭되지 않는 경우,의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 상기 CT영상과 상기 3D 치과 스캐너 영상으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 방법
|
5 |
5
제1항에서, 상기 상악 모델과 상기 하악 모델에서 상기 치아 랜드마크를 각각 레이블링하는 단계는 상기 상악 모델과 상기 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹하는 치아 랜드마크 자동 검출 방법
|
6 |
6
제1항에서,상기 레이블링된 위치를 좌표로 변환하는 단계는,의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 상기 좌표는 하기의 수학식 1을 만족하는 카르테시안 좌표계이고, [수학식 1]상기 수학식 1에서, 는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표인, 치아 랜드마크 자동 검출 방법
|
7 |
7
제1항에서,상기 좌표를 3D 히트맵으로 변환하는 단계는상기 치아 랜드마크 위치를 상기 3D 히트맵에 표시하는 방법으로 변환하고,상기 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며,상기 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 2를 만족하고,[수학식 2]상기 수학식 2에서, Hi는 3D 가우시안 히트맵의 픽셀 확률, , , 는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 방법
|
8 |
8
제1항에서,상기 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 하고, 상기 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 단계에서상기 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고,상기 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며,각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고,상기 V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며,상기 Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고,상기 제1 3D 히트맵은 하기의 수학식 3을 만족하며,[수학식 3]상기 수학식 3에서, Hi는 3D 가우시안 히트맵의 픽셀 확률, , , 는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 방법
|
9 |
9
제8항에서,상기 Coarse V-Net이 출력하는 상기 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서,상기 Coarse V-Net의 상기 제1 3D 히트맵과 상기 레이블을 비교하여 하기의 수학식 4를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고, 산출한 상기 손실수치와 상기 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며,상기 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고,상기 합성 이미지를 상기 Fine V-Net의 입력으로 하며, [수학식 4]상기 수학식 4에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값인, 치아 랜드마크 자동 검출 방법
|
10 |
10
제9항에서, 상기 수학식 3을 만족하는 상기 제1 3D 히트맵과 상기 제2 3D 히트맵에서 상기 유사 후버손실을 산출하고,각각의 V-Net 손실수치를 변수로 하기의 수학식 5를 만족하는 총 손실수치를 산출하며,상기 총 손실수치에 따라 가중치를 판단하고,[수학식 5]상기 수학식 5에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵인, 치아 랜드마크 자동 검출 방법
|
11 |
11
제10항에서,상기 Fine V-Net에 상기 상악 모델과 상기 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상기 상악 모델의 이미지와 상기 하악 모델의 이미지가 스케일링 다운되고,스케일링 다운되어 다음 레이어에 입력될 때 상기 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 상기 스케일링 다운되어 다음 레이어에 입력되는 이미지를 합성하기 위한 어텐션 모듈에 입력되며,상기 어텐션 모듈의 출력이 상기 다음 레이어에 입력되는 치아 랜드마크 자동 검출 방법
|
12 |
12
제11항에서,상기 어텐션 모듈은 스케일링 다운된 상기 Fine V-Net의 출력을 제1 FCN(Fully Convolutional Network)에 입력하고,상기 제1 FCN의 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며,상기 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고,상기 선형화 된 출력을 제2 FCN에 입력한 후 상기 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며,상기 정규화 된 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 상기 제3 FCN의 출력을 배치 정규화(Batch Normalization)하는 치아 랜드마크 자동 검출 방법
|
13 |
13
제1항에서,상기 3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경인 치아 랜드마크 자동 검출 방법
|
14 |
14
CT(Computed Tomography) 영상 및 3D 치과 스캐너 영상을 획득하는 영상 수신부,상기 CT영상을 상악 CT영상과 하악 CT영상으로 분할하고, 상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부,상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부, 합성된 상기 상악 모델과 상기 하악 모델 각각에 대해, 치아 랜드마크를 레이블링하고, 레이블링된 위치를 좌표로 변환하는 레이블링 및 좌표 변환부,상기 좌표를 3D 히트맵(Heat map)으로 변환하는 히트맵 변환부,복수의 CT 영상 및 복수의 3D 치과 스캐너 영상으로 복수의 상악 모델과 복수의 하악 모델을 생성하고 복수의 치아 랜드마크 레이블을 생성하고, 레이블링된 좌표로 출력한 3D 히트맵을 레이블로 인공신경망을 학습하여 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부,상기 학습된 인공신경망 모델에 의해 금속 인공 음영이 포함된 대상자의 의료영상으로부터 상기 3D 히트맵을 예측하는 히트맵 예측부, 그리고예측된 상기 3D 히트맵의 최대값을 추출하여 치아 랜드마크 좌표로 변환하여, 치아 랜드마크를 자동으로 검출하는 치아 랜드마크 예측부를 포함하고,상기 상악 CT영상과 상악 3D 스캐너 영상을 합성하여 상악 모델을 생성하고, 상기 하악 CT영상과 하악 3D 스캐너 영상을 합성하여 하악 모델을 생성하는 모델 획득부는,상기 CT 영상과 상기 3D 치과 스캐너 영상 중 서로 매칭되는 상악 또는 하악 이미지를 점대점 방식으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 시스템
|
15 |
15
제14항에서,상기 3D 치과 스캐너 영상을 상악 3D 스캐너 영상과 하악 3D 스캐너 영상으로 분할하는 영상 변환부는상기 3D 치과 스캐너 영상에서 치열을 제외한 부분을 크롭(Crop)하고 상기 상악 3D 스캐너 영상과 상기 하악 3D 스캐너 영상으로 각각 분할하는 치아 랜드마크 자동 검출 시스템
|
16 |
16
삭제
|
17 |
17
제14항에서,상기 점대점 방식으로 상기 상악 모델과 상기 하악 모델을 생성할 때, 상기 CT 영상과 상기 3D 치과 스캐너 영상이 상기 점대점 방식으로 정확하게 매칭되지 않는 경우,의료 영상의 스케일 변환, 회전, 또는 이동으로 모델을 매칭하는 ICP(Iteration Closest Point) 방식으로 상기 CT 영상과 상기 3D 치과 스캐너 영상으로 상기 상악 모델 및 상기 하악 모델을 생성하는 치아 랜드마크 자동 검출 시스템
|
18 |
18
제14항에서, 상기 상악 모델과 상기 하악 모델에서 상기 치아 랜드마크를 각각 레이블링하는 레이블링부는 상기 상악 모델과 상기 하악 모델에서 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니 그리고 뒤쪽 비강 척추를 랜드마킹하는 치아 랜드마크 자동 검출 시스템
|
19 |
19
제14항에서,상기 레이블링된 위치를 좌표로 변환하는 좌표 변환부는,의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표계를 따르고, 치아 랜드마크의 상기 좌표는 하기의 수학식 6을 만족하는 카르테시안 좌표계이며,[수학식 6]상기 수학식 6은 는 치아 랜드마크의 x, y, z 좌표, (Coordinate-Physical origin)x,y,z는 의료 영상 분야의 디지털 영상 및 통신(DICOM, Digital imaging and communications in medicine) 물리적 좌표에서 x, y, z 좌표, (Voxel Spacing)x,y,z은 치아 랜드마크 이미지의 3차원 행렬 형태 배치에서 x, y, z좌표인, 치아 랜드마크 자동 검출 시스템
|
20 |
20
제14항에서,상기 좌표를 3D 히트맵으로 변환하는 히트맵 변환부는상기 치아 랜드마크 위치를 상기 3D 히트맵에 표시하는 방법으로 변환하고,상기 3D 히트맵은 3D 가우시안 히트맵의 픽셀확률에 따라 표시되며,상기 3D 가우시안 히트맵의 픽셀확률은 하기의 수학식 7을 만족하고,[수학식 7]상기 수학식 7에서 Hi는 3D 가우시안 히트맵의 픽셀 확률, , , 는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 시스템
|
21 |
21
제14항에서,상기 레이블링된 좌표로 출력한 상기 3D 히트맵을 레이블로 하고, 상기 의료영상으로 3D 히트맵을 출력하는 인공신경망 모델을 학습하는 모델 학습부에서,상기 인공신경망 모델은 V2-Net 아키텍처(Architecture)이고,상기 아키텍처는 각각 레이어의 수가 동일한 V-Net 아키텍쳐인 Coarse V-Net 및 Fine V-Net을 직렬 배치한 V2-Net이며,각각의 V-Net 아키텍처는 스케일링 다운 후에 스케일링 업 하는 구조를 포함하고,상기 V-Net에서 스케일링 업을 할 때 스케일링 업 레이어와 대응되는 스케일링 다운 레이어와 이전 레이어를 합성하여 다음 레이어를 출력하며,상기 Coarse V-Net은 첫번째 히트맵 예측인 제1 3D 히트맵을 예측하도록 학습되고,상기 제1 3D 히트맵은 하기의 수학식 8을 만족하며,[수학식 8]상기 수학식 8에서 Hi는 3D 가우시안 히트맵의 픽셀 확률, , , 는 치아 랜드마크 Li의 x, y, z 좌표, σ는 3D 가우스 분포의 선명도를 결정하는 하이퍼-파라미터(Hyper-Parameter)인 표준편차, φ는 3D 히트맵의 영역크기를 정의하는 사용자에 의해 설정되는 척도계수인, 치아 랜드마크 자동 검출 시스템
|
22 |
22
제21항에서,상기 Coarse V-Net이 출력하는 상기 제1 3D 히트맵과 Fine V-Net이 출력하는 두번째 히트맵 예측인 제2 3D 히트맵에서,상기 Coarse V-Net의 제1 3D 히트맵과 상기 레이블을 비교하여 하기의 수학식 9를 만족하는 유사 후버손실(Pseudo Hubber Loss)값을 산출하고, 산출한 상기 손실수치와 상기 제1 3D 히트맵을 합성하여 3D 유도 맵을 출력하며,상기 3D 유도 맵과 입력 의료 이미지를 합성하여 합성 이미지를 출력하고,상기 합성 이미지를 상기 Fine V-Net의 입력으로 하며,[수학식 9]상기 수학식 9에서, PHL은 유사 후버손실함수, GT는 입력 이미지의 그라운드 트루스, PH는 예측된 3D 히트맵, δ는 유사 후버손실의 경사를 제어하는 가중치 계수, a는 그라운드 트루스와 예측된 3D 히트맵 사이의 절대 손실 값인, 치아 랜드마크 자동 검출 시스템
|
23 |
23
제22항에서, 상기 수학식 8을 만족하는 상기 제1 3D 히트맵과 상기 제2 3D 히트맵에서 상기 유사 후버손실을 산출하고,각각의 V-Net 손실수치를 변수로 하기의 수학식 10을 만족하는 총 손실수치를 산출하며,상기 총 손실수치에 따라 가중치를 판단하고,[수학식 10]상기 수학식 10에서, Ltotal은 총 유사 후버손실, PHLint은 Coarse V-Net 출력 레이어에서의 손실, PHLout은 Fine V-Net 출력 레이어에서의 손실, Hα는 표준편차가 α일 때 Coarse V-Net의 그라운드 트루스, Hβ는 표준편차가 β일 때 Fine V-Net의 그라운드 트루스, Mc와 Ms는 각각 Coarse V-Net과 Fine V-Net의 예측 히트맵인, 치아 랜드마크 자동 검출 시스템
|
24 |
24
제23항에서,상기 Fine V-Net에 상기 상악 모델과 상기 하악 모델을 입력한 후에 복수 개의 컨볼루션 레이어로 상기 상악 모델의 이미지와 상기 하악 모델의 이미지가 스케일링 다운되고,스케일링 다운되어 다음 레이어에 입력될 때 상기 다음 레이어와 대응되는 Coarse V-Net의 스케일링 업 레이어의 출력과 상기 스케일링 다운되어 다음 레이어에 입력되는 입력을 합성하기 위한 어텐션 모듈에 입력되며,상기 어텐션 모듈의 출력이 상기 다음 레이어에 입력되는 치아 랜드마크 자동 검출 시스템
|
25 |
25
제24항에서,상기 어텐션 모듈은 스케일링 다운된 상기 Fine V-Net의 출력을 제1 FCN(Fully Convolutional Network)에 입력하고,상기 제1 FCN의 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성하며,상기 합성된 출력을 ReLU(Rectified Linear Unit) 함수로 선형화 하여 출력하고,상기 선형화 된 출력을 제2 FCN에 입력한 후 상기 제2 FCN의 출력을 Sigmoid 함수에 입력하여 정규화 하여 출력하며,상기 정규화 된 출력과 상기 Coarse V-Net의 스케일링 업 레이어의 출력을 합성한 후 제3 FCN에 입력하고 상기 제3 FCN의 출력을 배치 정규화(Batch Normalization)하는 치아 랜드마크 자동 검출 시스템
|
26 |
26
제14항에서,상기 3D 히트맵은 7개의 채널을 포함하며 각 채널은 앞니, 왼쪽 송곳니, 오른쪽 송곳니, 왼쪽 어금니, 오른쪽 어금니, 뒤쪽 비강 척추 그리고 배경인 치아 랜드마크 자동 검출 시스템
|