| 1 |
1
약지도(weakly-supervised) 딥러닝(deep learning; DL) 인공 지능을 이용한 유방 초음파 진단 방법으로서,유방 초음파 이미지에서 확자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 단계;상기 입력 데이터를 수신하고, 콘볼루션 신경망(convolutional neural network; CNN) 및 광역 평균 풀링(global average pooling; GAP)을 이용하여, 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 단계;광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(probability of malignancy; POM)을 계산하는 감별 진단 단계; 및판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기(gradient)와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역(relevant region)을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 단계를 포함하고,상기 딥러닝 학습 단계는 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 2 |
2
제1항에 있어서,상기 초음파 영상 전처리 단계는,초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(Digital Imaging and Communications in Medicine; DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하는 것;초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하는 것; 및상기 익명화된 이미지 또는 영상 데이터를 영상을 동일한 크기를 가지는 입력 데이터로 크기조절(resizing)하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 3 |
3
제2항에 있어서,상기 딥러닝 학습 단계는,검증의 오류를 줄이고 재현성 있는 모델을 생성하기 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강(augmentation) 프로세스를 적용하는 것;상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별(image classification)을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하는 것; 및획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 4 |
4
제3항에 있어서,상기 감별 진단 단계는,상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하는 것;획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 5 |
5
제4항에 있어서,상기 기여 영역 결정 및 시각화 단계는,상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(class activation map; CAM)을 획득하는 것;획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하는 것;스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하는 것; 및상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하는 것을 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 6 |
6
제3항에 있어서, 상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고,상기 광학적 변이는 삭제, 스페클 잡음(speckle noise) 처리, 첨예화(sharpening), 가우시안 블러링(Gaussian blurring) 중 적어도 하나를 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법
|
| 7 |
7
약지도 딥러닝(DL) 인공 지능을 이용한 유방 초음파 진단 시스템으로서,유방 초음파 이미지에서 확자의 개인 정보를 삭제하여 학습에 필요한 영상 영역만을 포함하는 입력 데이터를 생성하는 초음파 영상 전처리 모듈;상기 입력 데이터를 수신하고, 콘볼루션 신경망(CNN) 및 광역 평균 풀링(GAP)을 이용하여 수신된 입력 데이터로부터 피쳐 맵을 획득하고 재학습하는 딥러닝 학습 모듈;광역 평균 풀링(GAP)을 이용하여 상기 입력 데이터를 정상, 양성, 및 악성 중 하나로 판별하고, 악성으로 판별될 경우 판별의 정확도를 나타내는 악성 확률(POM)을 계산하는 감별 진단 모듈; 및판별한 결과를 상기 콘볼루션 신경망(CNN)을 통해 역전파하여, 상기 판별 결과에 기여한 픽셀별 기여도를 기울기와 피쳐 값으로 계산하고, 계산된 픽셀별 기여도에 기반하여 판별에 기여한 기여 영역을 상기 악성 확률(POM)과 함께 시각화하는 기여 영역 결정 및 시각화 모듈을 포함하고,상기 약지도 딥러닝 알고리즘은 상기 기여 영역 및 상기 악성 확률(POM)의 검증된 성능에 기반하여 학습되는 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
| 8 |
8
제7항에 있어서,상기 초음파 영상 전처리 모듈은,초음파 영상을 위해 개발된 고유 비식별화 모듈을 이용하여 다이콤(DICOM) 헤더의 정보 중 환자의 개인 정보와 관련한 정보를 제거하고,초음파 영상의 에지를 트리밍(trimming)함으로써 남아있는 개인 정보 및 학습에 방해가 되는 신체 마크와 텍스트 주석을 제거하여 익명화된 이미지를 추출하거나 초음파 기기에서 수신된 초음파 신호로부터 영상 데이터를 생성하며,상기 익명화된 이미지 또는 영상 데이터를 영상을 동일한 크기를 가지는 입력 데이터로 크기조절하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
| 9 |
9
제8항에 있어서,상기 딥러닝 학습 모듈은,검증의 오류를 줄이고 재현성 있는 모델을 생성하기 위하여 상기 익명화된 이미지에 기하학적 변이 및 광학적 변이 중 적어도 하나를 추가하여 데이터 증강 프로세스를 적용하고,상기 입력 데이터에 대한 정상/양성/악성을 학습하기 위하여, 영상 판별을 수행하는 적어도 하나의 합성곱 신경망(CNN)을 이용하여 딥러닝 알고리즘의 아키텍처를 구성하여 각 합성곱 층에 대한 피쳐 맵을 획득하며,획득된 피쳐 맵에 대한 파라미터를 결정하고 재학습하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
| 10 |
10
제9항에 있어서,상기 감별 진단 모듈은,상기 딥러닝 알고리즘의 아키텍처에서 합성곱 층 이후에 추가된 광역 평균 풀링(GAP) 층을 사용하여 최종 합성곱 층의 각각의 피쳐 맵의 피쳐 값을 획득하고,획득된 피쳐 값에 학습가능한 가중치를 적용하여 클래스 점수를 계산하고, 계산된 클래스 점수로부터 악성 확률(POM)을 계산하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
| 11 |
11
제7항에 있어서,상기 기여 영역 결정 및 시각화 모듈은,상기 피쳐 맵들에 가중치를 적용하여 각각의 클래스의 클래스 활성화 맵(CAM)을 획득하고,획득된 클래스 활성화 맵(CAM)에 min-max 정규화를 적용하여 스케일링하며,스케일링된 클래스 활성화 맵(CAM)에 임계치를 적용한 이진화를 수행하여 상기 기여 영역을 결정하고,상기 클래스 활성화 맵(CAM)을 히트 맵으로서 상기 악성 확률(POM)과 함께 시각화하도록 구성되는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
| 12 |
12
제9항에 있어서, 상기 기하학적 변이는 수평 플립, 수직 플립, 회전, 스케일링, 병진 중 적어도 하나를 포함하고,상기 광학적 변이는 삭제, 스페클 잡음 처리, 첨예화, 가우시안 블러링 중 적어도 하나를 포함하는 것을 특징으로 하는, 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 시스템
|
