| 1 |
1
컴퓨터에 의해 수행되는 방법에 있어서,카메라를 통해 수신한 입력 영상으로부터 타겟 객체를 분할하는 단계;기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하는 단계;상기 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하는 단계;사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하는 단계; 및상기 변형된 유사 타겟을 렌더링하여 출력하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 2 |
2
제1항에 있어서,사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,상기 유사 타겟 객체에 대한 3D 모델 형태를 입력받는 단계;미리 학습된 소정의 제1 예측 알고리즘을 통해 상기 입력된 3D 모델 형태에 대한 추론값을 예측하는 단계;미리 학습된 소정의 제2 예측 알고리즘을 통해 상기 입력된 3D 모델 형태에 대한 핸들포인트를 예측하는 단계;상기 추출된 핸들포인트를 기반으로 사용자의 의도 정보를 수신하는 단계; 및상기 예측된 추론값 및 핸들포인트와, 상기 의도 정보에 따라 변형된 핸들포인트를 기반으로 상기 3D 모델 형태를 변형하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 3 |
3
제2항에 있어서,상기 유사 타겟 객체에 대한 3D 모델 형태를 입력 받는 단계는,상기 3D 모델 데이터가 상기 타겟 객체의 속성 정보를 모두 포함하지 못하는 경우, 소정의 데이터 분석 과정을 통해 상기 타겟 객체를 변형 가능하도록 파라미터화하는 사전 프로세싱 결과값을 상기 3D 모델 형태로 입력받는 것인,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 4 |
4
제1항에 있어서,상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,상기 타겟 객체의 특성 정보, 상기 타겟 객체와 사용자와의 위치 정보 및 상기 타겟 객체에 대한 변형 범위 정보 중 적어도 하나를 반영하여 상기 유사 타겟 객체를 변형하는 것인,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 5 |
5
제4항에 있어서,상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,HCI(Human Computer Interaction) 방법을 기반으로 사용자의 행동을 유도하여 상기 사용자의 의도 정보를 추정하는 단계; 및상기 추정된 의도 정보를 사용자가 인지 가능하도록 시각화하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 6 |
6
제5항에 있어서,상기 사용자의 의도 정보를 추정하는 단계는,상기 사용자에게 상기 타겟 객체의 변형 GUI(Graphical User Interface) 방법을 위한 학습 프로그램을 제공하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 7 |
7
제5항에 있어서,상기 사용자의 의도 정보를 추정하는 단계는,상기 유사 타겟 객체의 변형을 위한 기 정의된 변형 GUI 방법을 사용자에게 제공하는 단계; 및상기 사용자의 인터랙션 반응에 따라, 상기 기 정의된 GUI 방법에 상응하는 변형 파라미터를 시각화 및 단계별로 변화되도록 하여 사용자의 인터랙션을 유도하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 8 |
8
제5항에 있어서,상기 추정된 의도 정보를 사용자가 인지 가능하도록 시각화하는 단계는,객체 별 컴포넌트 정보, 컴포넌트의 속성 정보를 포함하는 객체의 특성 정보를 정의하는 사전 프로세싱을 수행하는 단계; 및상기 추정된 의도 정보에 상응하도록 상기 객체의 특성 정보를 시각화하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 9 |
9
제8항에 있어서,상기 추정된 의도 정보에 상응하도록 상기 객체의 특성 정보를 시각화하는 단계는,상기 사용자의 의도 정보에 따른 인터랙션이 상기 유사 타겟 객체와 기 설정된 제1 거리 내에서 발생되는지 여부를 판단하는 단계;상기 기 설정된 제1 거리 내인 경우 상기 유사 타겟 객체에 대한 변형 가능한 파라미터를 출력하는 단계;상기 인터랙션이 상기 출력된 파라미터와 기 설정된 제2 거리 내에 발생되는지 여부를 판단하는 단계; 및상기 제2 거리 내인 경우 해당 파라미터의 색상을 타 파라미터와 차별되도록 표시하여 사용자의 선택을 유도하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 10 |
10
제5항에 있어서,상기 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태 변형하는 단계는,상기 추정된 사용자의 의도 정보가 사용자의 실제 의도와 상이한 경우 사용자로부터 모드 변경 입력을 수신하는 단계; 및상기 모드 변경 입력에 대응하여 상기 유사 타겟 객체의 변형 영역 중 적어도 하나의 영역의 변형 자유도를 증가시켜 상기 의도 정보에 따른 상기 유사 타겟 객체를 변형하는 단계를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 11 |
11
제1항에 있어서,상기 변형된 유사 타겟 객체로 인한 변형된 배경 영상을 인페인팅하는 단계를 더 포함하고,상기 변형된 유사 타겟 객체를 렌더링하여 출력하는 단계는,상기 변형된 유사 타겟 객체 및 변형된 배경 영상을 렌더링하여 출력하는 것인,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 방법
|
| 12 |
12
카메라를 통해 촬영된 영상을 수신하는 통신모듈,사용자의 인터랙션 기반의 의도 정보를 반영하여 타겟 객체를 변형 및 렌더링하기 위한 프로그램이 저장된 메모리 및상기 메모리에 저장된 프로그램을 실행시킴에 따라, 입력 영상으로부터 타겟 객체를 분할하고, 기 학습된 3D 모델 데이터로부터 상기 타겟 객체와 가장 높은 유사도를 갖는 객체(이하, 유사 타겟 객체)를 추출하고, 상기 카메라를 통해 타겟 객체의 텍스처를 추출하여 상기 유사 타겟 객체에 매핑하고, 사용자의 인터랙션 기반의 의도 정보를 반영하여 상기 유사 타겟 객체의 형태를 변형하여 렌더링하는 프로세서를 포함하는,XR 실객체 변형을 위한 사용자 인터랙티브 맞춤형 인터랙션 제공 장치
|
