| 1 |
1
혼합 현실 기반의 치과 수술 보조 장치에 있어서,수술 대상자의 치아 주변 영역을 촬영하여 대상 영상을 획득하는 카메라;상기 대상 영상에 나타난 상기 수술 대상자의 치아 주변 영역에 투영되는 가상의 3D 객체를 포함하는 혼합 현실 콘텐츠를 생성하는 프로세서; 및상기 혼합 현실 콘텐츠를 출력하는 디스플레이를 포함하고,상기 프로세서는,상기 수술 대상자의 상기 치아를 촬영한 의료 영상에 기초하여 상기 치아의 치관, 치근 및 신경관을 추출하고,상기 대상 영상에서 상기 치아의 치관을 추출하고,상기 의료 영상에 기초하여 추출된 상기 치관의 특징점들 및 상기 대상 영상에서 추출된 상기 치관의 특징점들에 기초하여 상기 의료 영상 내 치아와 상기 대상 영상 내 치아 간의 위치 관계를 결정하고,상기 결정된 위치 관계에 기초하여 상기 가상의 3D 객체가 투영될 위치를 결정하는,치과 수술 보조 장치
|
| 2 |
2
제1항에 있어서,상기 프로세서는,상기 결정된 위치 관계에 기초하여 상기 치아 주변 영역에 가상의 신경관 객체를 투영하기 위한 상기 혼합 현실 콘텐츠를 생성하는,치과 수술 보조 장치
|
| 3 |
3
제1항에 있어서,상기 프로세서는,상기 결정된 위치 관계에 기초하여 상기 치아 주변 영역에 상기 치아에 연결된 가상의 치근 객체를 투영하기 위한 상기 혼합 현실 콘텐츠를 생성하는,치과 수술 보조 장치
|
| 4 |
4
제1항에 있어서,상기 프로세서는,상기 의료 영상을 입력으로 하는 뉴럴 네트워크 모델을 이용하여 상기 치관, 치근 및 신경관에 대한 3D 정보를 획득하고, 상기 3D 정보를 이용하여 상기 치관, 치근 및 신경관에 대한 형태 정보 및 위치 정보를 획득하는,치과 수술 보조 장치
|
| 5 |
5
제1항에 있어서,상기 프로세서는,사용자의 제스처 입력을 감지한 경우, 상기 제스처 입력에 기초하여 상기 의료 영상 내 치아와 상기 대상 영상 내 치아 간의 위치 관계를 결정하는,치과 수술 보조 장치
|
| 6 |
6
제1항에 있어서,상기 프로세서는,상기 의료 영상과 상기 대상 영상 각각에서 추출된 치관의 특징점들 중 서로 대응되는 특징점 쌍에 기초하여 상기 위치 관계를 결정하는,치과 수술 보조 장치
|
| 7 |
7
제1항에 있어서,상기 치과 수술 보조 장치는,치과 수술을 진행하는 사용자에 의해 착용되는 안경 또는 헤드 마운티드 디스플레이(head mounted display) 형태의 웨어러블 장치인,치과 수술 보조 장치
|
| 8 |
8
제1항에 있어서,상기 프로세서는,상기 의료 영상에서 상기 치아 주변의 잇몸뼈를 추출하고,상기 치아 주변 영역에 상기 추출된 잇몸뼈에 대응하는 가상의 잇몸뼈 객체를 포함하는 혼합 현실 콘텐츠를 생성하는,치과 수술 보조 장치
|
| 9 |
9
제1항에 있어서,상기 카메라는,상기 치아 주변 영역의 지오메트릭(geometric) 정보를 획득하기 위한 깊이 카메라를 포함하는,치과 수술 보조 장치
|
| 10 |
10
하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
|
| 11 |
11
치과 수술 보조 장치에 의해 수행되는 치과 수술 보조 방법에 있어서,수술 대상자의 치아 주변 영역을 촬영하여 대상 영상을 획득하는 단계;상기 대상 영상에 나타난 상기 수술 대상자의 치아 주변 영역에 투영되는 가상의 3D 객체를 포함하는 혼합 현실 콘텐츠를 생성하는 단계; 및상기 혼합 현실 콘텐츠를 출력하는 단계를 포함하고,상기 혼합 현실 콘텐츠를 생성하는 단계는,상기 수술 대상자의 상기 치아를 촬영한 의료 영상에 기초하여 상기 치아의 치관, 치근 및 신경관을 추출하는 단계;상기 대상 영상에서 상기 치아의 치관을 추출하는 단계;상기 의료 영상에 기초하여 추출된 상기 치관의 특징점들 및 상기 대상 영상에서 추출된 상기 치관의 특징점들에 기초하여 상기 의료 영상 내 치아와 상기 대상 영상 내 치아 간의 위치 관계를 결정하는 단계; 및상기 결정된 위치 관계에 기초하여 상기 가상의 3D 객체가 투영될 위치를 결정하는 단계를 포함하는,치과 수술 보조 방법
|
| 12 |
12
제11항에 있어서,상기 혼합 현실 콘텐츠를 생성하는 단계는,상기 결정된 위치 관계에 기초하여 상기 치아 주변 영역에 가상의 신경관 객체를 투영하기 위한 상기 혼합 현실 콘텐츠를 생성하는 단계를 포함하는,치과 수술 보조 방법
|
| 13 |
13
제11항에 있어서,상기 혼합 현실 콘텐츠를 생성하는 단계는,상기 결정된 위치 관계에 기초하여 상기 치아 주변 영역에 상기 치아에 연결된 가상의 치근 객체를 투영하기 위한 상기 혼합 현실 콘텐츠를 생성하는 단계를 포함하는,치과 수술 보조 방법
|
| 14 |
14
제11항에 있어서,상기 혼합 현실 콘텐츠를 생성하는 단계는,상기 의료 영상을 입력으로 하는 뉴럴 네트워크 모델을 이용하여 상기 치관, 치근 및 신경관에 대한 3D 정보를 획득하고, 상기 3D 정보를 이용하여 상기 치관, 치근 및 신경관에 대한 형태 정보 및 위치 정보를 획득하는 단계를 포함하는,치과 수술 보조 방법
|
| 15 |
15
제11항에 있어서,상기 위치 관계를 결정하는 단계는,사용자의 제스처 입력을 감지한 경우, 상기 제스처 입력에 기초하여 상기 의료 영상 내 치아와 상기 대상 영상 내 치아 간의 위치 관계를 결정하는 단계를 포함하는,치과 수술 보조 방법
|
| 16 |
16
제11항에 있어서,상기 위치 관계를 결정하는 단계는,상기 의료 영상과 상기 대상 영상 각각에서 추출된 치관의 특징점들 중 서로 대응되는 특징점 쌍에 기초하여 상기 위치 관계를 결정하는 단계를 포함하는,치과 수술 보조 방법
|
| 17 |
17
제11항에 있어서,상기 치과 수술 보조 장치는,치과 수술을 진행하는 사용자에 의해 착용되는 안경 또는 헤드 마운티드 디스플레이(head mounted display) 형태의 웨어러블 장치인,치과 수술 보조 방법
|
| 18 |
18
제11항에 있어서,상기 혼합 현실 콘텐츠를 생성하는 단계는,상기 의료 영상에서 상기 치아 주변의 잇몸뼈를 추출하는 단계; 및상기 치아 주변 영역에 상기 추출된 잇몸뼈에 대응하는 가상의 잇몸뼈 객체를 포함하는 혼합 현실 콘텐츠를 생성하는 단계를 포함하는,치과 수술 보조 방법
|
