| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서,사용자의 의료 영상에 기초하여 생성한 2차원 연조직 영상을 학습된 특징점 추출 모델에 입력하여 해부학적 위치에 기초한 하나 이상의 제1 특징점을 추출하고, 상기 의료 영상에 기초하여 상기 제1 특징점을 3차원 좌표로 재구성하는 단계, 깊이 인식 카메라로 상기 사용자를 촬영한 촬영 영상을 상기 특징점 추출 모델에 입력하여 상기 해부학적 위치에 기초한 하나 이상의 제2 특징점을 추출하고, 상기 촬영 영상의 깊이 정보를 적용하여 상기 제2 특징점을 3차원 좌표로 재구성하는 단계, 그리고 상기 제1 특징점의 3차원 좌표와 상기 제2 특징점의 3차원 좌표를 서로 매칭하여 상기 의료 영상과 상기 촬영 영상을 정합하는 단계를 포함하는, 동작 방법
|
| 2 |
2
제1항에서,상기 특징점 추출 모델은, 입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 상기 기울기 정보 기반의 영상에서 미리 라벨링된 특징점의 2차원 좌표를 출력하는 동작 방법
|
| 3 |
3
제1항에서,상기 특징점 추출 모델은, 얼굴을 포함한 영상인 경우에, 얼굴 위치에 따른 움직임이 최소화된 눈 외측 끝점, 눈 내측 끝점, 입꼬리 점, 코 시작점 중에서 하나 이상의 지점을 특징점으로 선정하여 라벨링하는 동작 방법
|
| 4 |
4
제2항에서, 상기 제1 특징점을 3차원 좌표로 재구성하는 단계는, 상기 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 상기 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하여 상기 특징점 추출 모델에 입력하는 동작 방법
|
| 5 |
5
제4항에서,상기 제1 특징점을 3차원 좌표로 재구성하는 단계는, 상기2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 상기 제1 특징점의 2차원 좌표를 기준점으로 상기 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출하는 동작 방법
|
| 6 |
6
제5항에서, 상기 촬영 영상을 정합하는 단계는,상기 제1 특징점의 3차원 좌표와 상기 제2 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출하는 동작 방법
|
| 7 |
7
제6항에서, 상기 촬영 영상을 정합하는 단계는,상기 좌표 변환값을 상기 의료 영상에 적용하여 상기 의료 영상의 좌표계를 상기 촬영 영상에 대한 좌표계로 변환하는 동작 방법
|
| 8 |
8
적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치의 동작 방법으로서,깊이 인식 카메라를 통해 사용자를 연속적으로 촬영한 촬영 영상들 수집하는 단계, 상기 촬영 영상들에서 학습된 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 라벨링된 특징점 좌표를 추출하는 단계, 그리고 촬영 영상마다의 깊이 정보에 기초하여 상기 라벨링된 특징점 좌표를 각각 3차원 좌표로 재구성하고, 수집 순서에 따라 인접한 촬영 영상들간의 상기 라벨링된 특징점의 3차원 좌표들을 매칭하여 상기 촬영 영상에서 상기 특징점을 갖는 객체를 추적하는 단계를 포함하는, 동작 방법
|
| 9 |
9
제8항에서, 상기 촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하는 단계를 더 포함하고, 상기 특징점 좌표를 추출하는 단계는, 상기 촬영 영상들 중에서 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출하는 동작 방법
|
| 10 |
10
제8항에서, 상기 특징점 추출 모델은, 입력받은 영상에 대해 기울기 정보 기반의 영상으로 전환한 후, 상기 기울기 정보 기반의 영상에서 해부학적 위치에 기초하여 미리 라벨링된 특징점의 2차원 좌표를 출력하는 동작 방법
|
| 11 |
11
제10항에서, 상기 특징점을 갖는 객체를 추적하는 단계는, 수집 순서에 따라 인접한 촬영 영상들간의 동일한 라벨링을 갖는 특징점의 3차원 좌표를 점대점(point-to-point) 매칭을 수행하고, 매칭된 3차원 좌표간의 3차원 변화량을 산출하는 동작 방법
|
| 12 |
12
제11항에서, 상기 해부학적 위치에 기초하여 추출된 특징점을 갖는 상기 사용자의 의료 영상을 수집하고, 상기 촬영 영상의 좌표계로 정합하는 단계, 그리고 산출된 상기 3차원의 변화량을 상기 의료 영상에 적용하여 해당 촬영 영상에 대응하는 의료 영상을 생성하는 단계를 더 포함하는 동작 방법
|
| 13 |
13
통신장치, 메모리, 그리고상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고,상기 프로그램은사용자의 의료 영상과 깊이 인식 카메라로 촬영한 상기 사용자의 촬영 영상을 학습된 특징점 추출 모델에 입력하여 각각 해부학적 위치에 기초하여 라벨링된 하나 이상의 제1 특징점의 좌표와 제2 특징점의 좌표를 획득하면, 상기 제1 특징점의 좌표와 상기 제2 특징점의 좌표간에 매칭을 통해 상기 의료 영상과 상기 촬영 영상을 정합하고, 수집된 연속적인 촬영 영상들에서 상기 특징점 추출 모델과 광학 추적 알고리즘을 선택적으로 이용하여 각 촬영 영상마다 하나 이상의 특징점 좌표를 추출하면, 연속되는 촬영 영상간에 특징점 좌표를 매칭하고, 매칭된 특징점 좌표들의 변화량을 산출하여 상기 촬영 영상에서의 객체를 추적하도록 기술된 명령들을 포함하는, 컴퓨팅 장치
|
| 14 |
14
제13항에서, 상기 프로그램은, 상기 의료 영상에 기초하여 3차원 연조직 모델로 렌더링(rendering)하고, 상기 3차원 연조직 모델에서 관상 평면(Coronal Plane)방향으로 투영한 2차원 연조직 영상을 생성하고, 특징점 추출 모델을 이용하여 상기2차원 연조직 영상에 대한 제1 특징점의 2차원 좌표를 획득하여, 상기 제1 특징점의 2차원 좌표를 기준점으로 상기 3차원 연조직 모델과 접점을 가지는 3차원 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치
|
| 15 |
15
제14항에서, 상기 프로그램은, 상기 촬영 영상의 깊이 정보를 적용하여 재구성된 상기 제2 특징점의 3차원 좌표와 상기 제1 특징점의 3차원 좌표에서 라벨링이 일치하는 특징점간에 점대점(point-to-point) 매칭을 수행하고, 매칭된 특징점간의 좌표 변환값을 산출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치
|
| 16 |
16
제13항에서, 상기 프로그램은, 상기 연속적인 촬영 영상들을 미리 설정된 단위에 기초하여 순차적으로 그룹핑하고, 그룹 내 첫번째 촬영 영상에 대해서는 학습된 특징점 추출 모델을 이용하여 특징점 좌표를 추출하고, 두번째 촬영 영상에서부터는 직전 촬영 영상에서 추출된 특징점 좌표에 기초하여 광학 추적 알고리즘을 이용하여 특징점 좌표를 추출하도록 기술된 명령들(Instrutctions)을 포함하는, 컴퓨팅 장치
|
