| 1 |
1
기 학습된 에이전트 모델에 대한 정보를 저장하는 메모리부;외부 장치와 정보를 송수신하는 통신부;상기 메모리 및 상기 송수신기를 제어하는 프로세서를 포함하고,상기 프로세서는,상기 통신부를 통해 내시경 장치로부터 수신한 내시경 영상 속 장기의 병변 위치를 검출하는 병변 검출부; 및상기 병변이 검출된 상기 내시경 영상에 기초하여 상기 내시경 장치에 탑재된 절제 부재를 이용하여 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 제공하는 절제 가이드부를 포함하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 2 |
2
제 1 항에 있어서,상기 병변 검출부는,머신러닝 기반으로 상기 내시경 영상 속 병변의 특징에 기초하여 상기 병변을 검출하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 3 |
3
제 1 항에 있어서,상기 절제 가이드 정보는,상기 절제 부재의 조작 절차, 조작 동작 및 조작 방향 정보 중 적어도 하나를 포함하고,상기 조작 동작은 절재 부재의 벌림, 오므림, 파지, 리무버, 상기 내시경 장치로부터의 인출 순서, 인출 정도 및 각 동작 시점에 관한 정보를 포함하며,상기 조작 방향 정보는 상기 절제 부재의 현재 위치를 기준점으로 하는 3차원 좌표에서 다음으로 이동해야 하는 각 축에 대한 전후 방향 및 이동 거리를 포함하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 4 |
4
제 1 항에 있어서,상기 프로세서는,상기 에이전트 모델을 학습시키는 학습부를 더 포함하고,상기 학습부는,병변에 대한 절제 구동을 시뮬레이션하고, 강화학습에 이용될 상태(state) 정보와 보상(reward) 정보를 제공하는 시뮬레이터; 및상기 시뮬레이터로 병변에 대한 상기 절제 부재의 구동을 시뮬레이션하고, 상기 시뮬레이션의 결과로부터 상기 절제 가이드 정보에 따라 상기 절제 부재가 구동된 후의 병변의 상태를 포함하는 상기 상태 정보, 상기 보상 정보, 상기 절제 가이드 정보를 포함하는 강화학습 데이터를 추출하며, 추출된 상기 강화학습 데이터로 상기 에이전트 모델을 학습시키는 강화학습 모듈을 포함하며,상기 에이전트 모델은 상기 시뮬레이터로부터 제공받은 병변 상태 정보와 보상 정보를 강화학습을 수행하여 상기 절제 부재의 구동이 최적화되도록 상기 절제 가이드 정보를 결정하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 5 |
5
제 4 항에 있어서,상기 강화학습 모듈은, 상기 절재 부재의 병변 기준 상대적 위치, 병변 포획 여부, 병변 제거 정도에 따라 상기 보상을 차등적으로 제공하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 6 |
6
외부 장치와 통신 가능한 내시경 장치;상기 내시경 장치에 탑재된 절제 부재;상기 내시경 장치로부터 내시경 영상을 수신하고, 상기 내시경 영상 속 장기의 병변 위치를 검출하며, 에이전트 모델을 기반으로 절제 부재를 통해 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 제공하는 병변 절제 가이드 장치; 및상기 내시경 영상과 상기 절제 가이드 정보를 함께 출력하는 출력 장치를 포함하는 것을 특징으로 하는 병변 절제 가이드 시스템
|
| 7 |
7
제 6 항에 있어서,상기 절제 부재는,올가미 또는 가위로 구비되는 것을 특징으로 하는 병변 절제 가이드 시스템
|
| 8 |
8
제 6 항에 있어서, 상기 병변 절제 가이드 장치는,학습된 머신러닝 모델 기반으로 상기 내시경 영상 속 병변의 특징에 기초하여 상기 병변을 검출하는 것을 특징으로 하는 병변 절제 가이드 장치
|
| 9 |
9
제 6 항에 있어서,상기 절제 가이드 정보는,상기 절제 부재의 조작 절차, 조작 동작 및 조작 방향 정보 중 적어도 하나를 포함하고,상기 조작 동작은 절재 부재의 벌림, 오므림, 파지, 리무버, 상기 내시경 장치로부터의 인출 순서, 인출 정도 및 각 동작 시점에 관한 정보를 포함하며,상기 조작 방향 정보는 상기 절제 부재의 현재 위치를 기준점으로 하는 3차원 좌표에서 다음으로 이동해야 하는 각 축에 대한 전후 방향 및 이동 거리를 포함하는 것을 특징으로 하는 병변 절제 가이드 시스템
|
| 10 |
10
제 6 항에 있어서,상기 병변 절제 가이드 장치는,시뮬레이터로 병변에 대한 상기 절제 부재의 구동을 시뮬레이션하고, 상기 시뮬레이션의 결과로부터 병변 절제 상태, 보상, 상기 절제 가이드 정보를 포함하는 강화학습 데이터를 추출하며, 추출된 상기 강화학습 데이터로 상기 에이전트 모델을 학습시키고,상기 보상은 상기 절재 부재의 병변 기준 상대적 위치, 병변 포획 여부, 병변 제거 정도에 따라 결정되는 것을 특징으로 하는 병변 절제 가이드 시스템
|
| 11 |
11
제 6 항에 있어서, 상기 출력 장치는, 상기 절제 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 디스플레이 장치 및 상기 절제 가이드 정보를 음성으로 출력하는 스피커 장치 중 적어도 하나를 포함하는 것을 특징으로 하는 병변 절제 가이드 시스템
|
| 12 |
12
내시경 영상 속 장기의 병변 위치를 검출하는 병변 검출 단계; 및기 학습된 에이전트 모델을 기반으로 상기 내시경 장치에 탑재된 절제 부재를 이용하여 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 도출하는 단계를 포함하는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 13 |
13
제 12 항에 있어서,상기 병변 검출 단계는,학습된 머신러닝 모델 기반으로 상기 내시경 영상 속 병변의 특징에 기초하여 상기 병변의 예상 명칭을 결정하여 출력하는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 14 |
14
제 12 항에 있어서,상기 절제 가이드 정보를 제공하는 단계는,상기 절제 부재의 조작 절차, 조작 동작 및 조작 방향 정보 중 적어도 하나를 제공하고,상기 조작 동작은 절재 부재의 벌림, 오므림, 파지, 리무버, 상기 내시경 장치로부터의 인출 순서, 인출 정도 및 각 동작 시점에 관한 정보를 포함하며,상기 조작 방향 정보는 상기 절제 부재의 현재 위치를 기준점으로 하는 3차원 좌표에서 다음으로 이동해야 하는 각 축에 대한 전후 방향 및 이동 거리를 포함하는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 15 |
15
제 12 항에 있어서,상기 에이전트 모델은 강화학습 모듈에 의해 학습되되, 상기 절제 가이드 정보, 상기 절제 가이드 정보에 따라 상기 절제 부재가 구동된 후의 병변의 상태를 포함하는 내시경 영상, 및 상기 절재 부재의 병변 기준 상대적 위치, 병변 포획 여부, 병변 제거 정도에 따라 결정되는 보상을 포함하는 강화학습 데이터로 학습되는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 16 |
16
내시경 장치로부터 내시경 영상을 실시간 수신하는 단계;상기 내시경 영상 속 장기의 병변 위치를 검출하는 병변 검출 단계; 기 학습된 에이전트 모델을 기반으로 상기 내시경 장치에 탑재된 절제 부재를 이용하여 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 도출하는 단계; 및상기 절제 가이드 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 17 |
17
제 16 항에 있어서,상기 절제 가이드 정보를 출력하는 단계는,상기 절제 가이드 정보를 텍스트로 상기 내시경 영상의 적어도 일부에 표시하는 단계 및 상기 절제 가이드 정보를 음성으로 출력하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 병변 절제 가이드 방법
|
| 18 |
18
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,내시경 영상 속 장기의 병변 위치를 검출하는 병변 검출 단계; 및기 학습된 에이전트 모델을 기반으로 내시경 장치에 탑재된 절제 부재를 이용하여 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 도출하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체
|
| 19 |
19
컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램으로서,상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,내시경 영상 속 장기의 병변 위치를 검출하는 병변 검출 단계; 및기 학습된 에이전트 모델을 기반으로 내시경 장치에 탑재된 절제 부재를 이용하여 상기 병변을 절제하는 구동에 관한 절제 가이드 정보를 도출하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램
|
