| 1 |
1
유무선 통신과 데이터 전송 AP(240)를 통해 Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하기 위한 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템 에 있어서, 3차원 위치 측정 MRI/CT 호환가능한 기준 마커(150)를 사용하여 3개 이상의 좌표지점을 측정하고, 상기 좌표지점들을 이용하여 혈관좌표계를 생성하고, 혈관 이미지 추출 및 3D 재구성을 통해 생성된 상기 혈관좌표계에 혈관이미지를 병합하는 맵핑 서버(100);사용자가 설정한 기준점을 이용하여 시술영상의 3차원 지역 좌표계를 생성하고, 카메라 및 혈관영상 레지스트레이션을 구비한 AR 프로젝션(250)을 통해 시술영상 기준점의 지역좌표계를 이용해 혈관 좌표계와 레지스트레이션하는 AR 프로세스 서버(200); 및광학계(310)와 디스플레이(330)을 구비하고 그래픽 시스템(320)과 증강현실(AR) 위치데이터와 가상 오브젝트 데이터를 소통하여 디스플레이(330)를 통해 증강현실(AR) 기반 가시화 기술을 이용해 혈관영상을 가시화하고 3D 형상 및 생체신호를 모니터링하는 HUD(300);를 포함하여 구성되고,상기 HUD(300)는 HUD 기반 3D 형상 및 생체신호 모니터링 시스템을 더 포함하고,상기 혈관좌표계는, 3개의 상기 기준 마커(150)에 대한 MRI/CT좌표를 획득하고 각 점간의 2개의 방향벡터 (dot1-dot2, dot1-dot3) 를 구하고, 상기 2개의 방향백터에 대한 외적벡터를 구하여 3개점의 평면에 수직인 법선벡터를 구하고, 두 벡터가 한 평면에 있으므로 내적을 통해 상기 법선벡터와 수직인 방향벡터를 구하고, 상기 법선벡터와 상기 방향벡터를 이용하여 나머지 상기 두 벡터와 수직인 방향벡터를 구하여 좌표계를 생성하고, 생성된 상기 좌표계에 상기 지역좌표계 원점(X, Y, Z)를 이용하여 6개의 모션(x, y, z, rotation of 3 axis)를 구하고, 상기 혈관좌표계를 검증하기 위해 디터미넌트(determinent)를 사용하는 것을 특징으로 하는, 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 시스템
|
| 2 |
2
유무선 통신과 데이터 전송 AP(240)를 통해 Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하기 위한 중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법은,a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계;b) AR 기반 시술 영상을 프로젝션하는 단계; 및c) HUD를 이용해 증강현실(AR) 기반의 혈관을 가시화하는 단계;를 포함하여 구성되고,상기 c) HUD를 이용해 증강현실(AR) 기반의 혈관을 가시화하는 단계는, HUD 기반 3D 형상 및 생체신호 모니터링 시스템의 상기 HUD를 이용하여 AR 기반의 혈관 가시화 기술을 이용하는 단계이며,c-11) 3개의 마커에 대한 MRI/CT좌표를 획득하고 각 점간의 2개의 방향벡터 (dot1-dot2, dot1-dot3) 를 구하는 단계;c-12) 상기 방향벡터 2개가 도출되면 이에 대한 외적벡터를 구하여 3개점의 평면에 수직인 법선벡터를 구하는 단계; c-13) 두 벡터가 한 평면에 있으므로 내적을 통해 상기 법선벡터와 수직인 방향벡터를 구하는 단계; c-14) 상기 법선벡터와 상기 방향벡터를 이용하여 나머지 상기 2개의 벡터와 수직인 방향벡터를 구하여 좌표계를 생성하는 단계; c-15) 생성된 상기 좌표계에 지역좌표계 원점(X, Y, Z)를 이용하여 6개의 모션(x, y, z, rotation of 3 axis)를 구하여 이를 혈관좌표계로 사용하는 단계; 및c-16) 상기 혈관좌표계를 검증하기 위해 디터미넌트(determinent)를 사용하는 단계;를 더 포함하는 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 3 |
3
제2항에 있어서, a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계는,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고, 이 점들을 이용하여 혈관좌표계를 생성하고, 혈관 이미지 추출 및 3D 재구성을 통해 생성된 혈관좌표계에 혈관이미지를 병합하는 단계인 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 4 |
4
제2항에 있어서,b) AR 기반 시술 영상을 프로젝션하는 단계는,AR 기반 시술 영상 기술 개발을 위한 시술영상 좌표 생성 기술 개발하고, 사용자가 설정한 기준점을 이용하여 시술영상의 3차원 지역 좌표계를 생성하고, 카메라 및 혈관영상 레지스트레이션 AR 프로젝션 기술을 통해 카메라 시술영상의 기준점의 지역좌표계를 이용해 혈관 좌표계와 레지스트레이션하는 알고리즘인 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 5 |
5
삭제
|
| 6 |
6
삭제
|
| 7 |
7
제2항에 있어서,c) HUD를 이용해 증강현실(AR) 기반 혈관을 가시화하는 단계는,c-21) HUD 마커는 영상에서 직교 투사(orthogonal projection)이므로 기준점(붉은색)을 이용하여 각변의 정사영된 선분의 길이를 도출하는 단계; c-22) 선분의 길이를 이용하여 각도를 구하면 기울어진 자세를 구하는 단계;c-23) 또한 기준점을 이용하여 각변의 선분을 이용하여 X, Y, Z축을 구하는 단계;c-24) 기준점의 (X, Y)좌표를 지역좌표계 원점으로 사용하고 Z좌표는 미리 선분의 픽셀길이와 동기화하여 설정하는 단계; c-25) X축과 Y축은 정사영된 선분을 이용하여 구하고 Z축은 X축과 Y축의 외적을 이용하여 구하는 단계; 및c-26) 좌표계를 검증하기 위해 디터미넌트를 사용하는 단계;를 포함하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 8 |
8
제3항에 있어서,상기 CT 영상을 이용한 혈관조영술을 통한 혈관의 이미지 추출 단계는d-1) CT 마커 좌표 테스트 용 팬텀 바디를 생성하는 단계;d-2) CT 이미지에서 혈관, 뼈 및 지방 이미지를 추출하는 단계;d-3) 추가 수정 작업 mimics S / W 에서 처리되는 단계;d-4) 팬텀을 만들 때 인쇄물에 따라 보이는 영역에 대해 CT 이미지를 확인하는 단계; 및d-5) 3D 인쇄물(고무, 플라스틱, 지지대)을 사용하여 각 영역 (이미지 검증)를 식별하는 단계;를 포함하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 9 |
9
제3항에 있어서, a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계에서MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고 기준마커를 탐지하는 단계는,a-1) 마커 및 사전 단계: 흑백(회색 스케일)의 이진 행렬로 구성된 사각형 마커를 이용하는 단계;a-2) 마커 탐지 단계: 마커의 모서리(왼쪽 위, 오른쪽 위, 오른쪽 아래, 왼쪽 아래 순서)를 감지하고, 내부 코드 목록을 분석하고, 흑백 비트 수를 감지하는 단계; a-3) 포즈 추정: 카메라 보정 파라미터의 중심 좌표 및 3x3 행렬, 왜곡 계수의 5 벡터를 사용하여 카메라 마커 좌표계에서 회전 정보를 얻은 다음 마커 좌표계를 기술하여 3D 변환(translation)을 획득하는 단계; a-4) 사전 선택 단계: 등록된 마커 사전에서 마커 ID에 해당하는 것을 찾는 단계; 및a-5) 매개 변수(parameters) 감지 단계: a-51) 임계 값을 추출: 입력 이미지에 적용된 적응형 임계값 (등고선 필터링)을 추출하는 단계; 및a-52)비트 추출하는 단계를 포함하는 단계를 포함하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 10 |
10
제9항에 있어서, a-52)비트 추출하는 단계는,a-521) 환경에서 마커를 찾은 후 마커인지 아닌지를 분석하고 결정하는 단계; a-522) 흑백 비트를 추출하기 전에 왜곡된 이미지를 4-sqaured 이미지로 변환(원근감 제거)하는 단계; 및a-523) 격자를 적용하고, 각 셀의 흑백 픽셀을 배열한 후 저장하고, 다시 비트를 채우는 단계; 를 포함하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 11 |
11
제3항에 있어서,a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계는,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고,2D 이미지 좌표를 획득하는 단계는a-11) 수직 방향 거리 = 카메라에서 'Z'를 설정, P = (X, Y, Z) 를 설정하는 단계;a-12)정규화된 평면에서 좌표 P '(X / Z, Y / Z, 1) 최대 거리 = 1을 설정하는 단계;a-13) 실제 이미지는 거리 = f 이미지 평면에 투영되는 단계, 'P'는 P ''(f * X / Z, f * Y / Z, f)에 해당하고; a-14) 카메라의 초점 거리(focal length)는 X 축 방향으로 'fx', Y 축 방향으로 'fy', '(fx * X / Z, fy * Y / Z)'에 의해 계산하는 단계; 및 a-15) 계산된 좌표를 픽셀 좌표로 변환하고 이미지 중심이 (cx, cy)이면 최종 좌표가 'x = fx * X / Z + cx, y = fy * Y / Z + cy'인 단계; 를 포함하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 12 |
12
제3항에 있어서,a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계는,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고,2D를 3D로 변환하는 단계는 a-21) 반대로, 3D 좌표는 이미지 중심 (x-cx, y-cy)으로 이동하는 2D 이미지 p (x, y)를 정하는 단계; a-22) 좌표 '(x-cx) / fx, (y-cy) / fy)'를 Z 거리로 변환하면 정규화 된 이미지 평면의 1이 되는 단계; a-23) 실제 거리 'Z'를 적용한 다음 ((x-cx) / fx * Z, (y-cy) / fy * Z, Z)를 적용하는 단계;중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 13 |
13
제3항에 있어서,a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계는,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고, 이 점들을 이용하여 혈관좌표계를 생성하고, 혈관 이미지 추출 및 3D 재구성을 통해 생성된 혈관좌표계에 혈관이미지를 병합하는 단계에서카메라 보정 및 3D 재구성하는 단계는, 수학식 1 및 수학식 2를 이용하는 한 방법인 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 14 |
14
제3항에 있어서,a)Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계는,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고, 이 점들을 이용하여 혈관좌표계를 생성하고, 혈관 이미지 추출 및 3D 재구성을 통해 생성된 혈관좌표계에 혈관이미지를 병합하는 단계이고,좌표계를 회전하는 단계는카메라 광학 축 벡터 Zc=(0,0,1) 에 대응하는 World coordinate 'Zw'는 수학식 3과 같이 정의되고,계산된 광학 축 Zw=(Zx,Zy,Zz)에 대응하는 팬, 틸트(Tilt=pitch, pan=yaw)는 수학식 4와 같이 정의되고,카메라 광학 축 벡터 Xc=(1,0,0)에 대응하는 World coordinate 'Xw'는 Xw=(Xx,Xy,Xz)이고, roll angle은 Z 축 주위의 글로벌 코디네이트 시스템의 X축을 회전함에 의하여 수학식 5와 같이 정의되는 단계인 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
| 15 |
15
제3항에 있어서, a) Pre-op MRI/CT를 이용한 3차원 이미지 및 좌표 생성하는 단계에서,MRI/CT 호환가능한 기준 마커를 사용하여 3차원 위치를 측정하여 3개 이상의 좌표를 측정하고, 측정된 상기 좌표의 점들을 이용하여 혈관좌표계를 생성하고, 혈관 이미지 추출 및 3D 재구성을 통해 생성된 혈관좌표계에 혈관이미지를 병합하는 단계는,AR 투영을 위한 좌표계를 생성하는 단계와 기준점 및 CT 제작자를 물리적으로 통합하는 단계이고,OpenGL이 적용된 STL parser 사용한 팬텀에 대한 AR 투영은 CT 이미지는 STL 포멧(format)이고, 기준 마커인 CT 마커를 환자에 적용하여 혈관 증강현실(AR)을 투영하여 혈관 이미지를 생성하는 단계인 것을 특징으로 하는,중재적 심장 수술을 위한 증강 현실 기반의 캐뉼라 가이드 방법
|
