| 1 |
1
적어도 하나의 프로세서에 의해 동작하는 작업 지원 정보 제공 시스템이 작업 지원 정보를 제공하는 방법으로서,카메라 시야의 실 환경을 3차원 메쉬 이미지로 생성하는 단계,상기 실 환경을 캡쳐하여 실사 이미지를 생성하는 단계,상기 실사 이미지로부터 적어도 하나의 작업 지원 객체를 검출하는 단계, 그리고상기 3차원 메쉬 이미지에서 상기 작업 지원 객체의 3차원 위치에 해당하는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체를 출력하고, 상기 가상 객체가 출력된 지점의 근접 위치에 상기 작업 지원 객체에 대한 작업 지원 정보를 표시하는 단계를 포함하고,상기 작업 지원 정보는,상기 작업 지원 객체를 설명하는 정보 또는 상기 작업 지원 객체에 대한 부가 정보를 포함하고,상기 출력하는 단계는,상기 실사 이미지에 상기 검출한 객체의 사각 영역을 표시한 2차원 이미지를 생성하는 단계,캡쳐한 위치를 기준으로 상기 2차원 이미지를 전면에 배치하고, 상기 2차원 이미지에 표시된 상기 사각 영역의 중심점을 관통하도록 상기 캡쳐한 위치에서 광선을 발사하는 단계, 그리고상기 3차원 메쉬 이미지 상에 상기 광선이 맞닿는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 정보를 표시하는 단계를 포함하는, 작업 지원 정보 제공 방법
|
| 2 |
2
제1항에서,상기 객체를 검출하는 단계는,딥러닝 학습 알고리즘을 기초로, 상기 실사 이미지를 분석하여 객체를 분류하고, 분류된 객체 별로 사각 영역을 검출하며,상기 가상 객체는,상기 사각 영역의 중심점을 통해 계산되어 상기 3차원 메쉬 이미지 상에 표시되는, 작업 지원 정보 제공 방법
|
| 3 |
3
삭제
|
| 4 |
4
제1항에서,상기 발사하는 단계는,상기 실사 이미지를 캡쳐한 시점에 상기 실사 이미지를 캡쳐한 카메라의 3차원 위치 및 상기 사각 영역의 중심점을 기초로, 방향 벡터를 계산하는 단계, 그리고상기 방향 벡터를 이용하여 상기 광선을 발사하는 단계를 포함하는, 작업 지원 정보 제공 방법
|
| 5 |
5
적어도 하나의 카메라를 포함하는 혼합 현실 인터페이스부,화면을 구비하는 디스플레이, 작업 지원 서버와 통신망을 통해 연결되는 통신 장치, 작업 지원 정보를 제공하는 프로그램이 저장된 메모리 장치, 그리고상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,상기 프로그램은, 상기 적어도 하나의 카메라를 통해 생성된 실사 이미지를 상기 작업 지원 서버로 전송하고, 상기 실사 이미지에서 검출된 객체에 대응하여 기 설정된 가상 객체 및 상기 가상 객체에 대한 작업 지원 정보를 상기 작업 지원 서버로부터 수신하고, 상기 적어도 하나의 카메라로부터 획득한 실 객체 및 주위 공간의 색상 정보 및 깊이 정보를 이용하여 상기 주위 공간을 3차원 메쉬 이미지로 재구성하고, 상기 실사 이미지에 상기 검출된 객체를 표시한 2차원 이미지를 생성하고, 상기 2차원 이미지를 관통하여 발사된 광선이 상기 3차원 메쉬 이미지에 맞닿는 지점에 상기 가상 객체 및 상기 작업 지원 정보를 표시한 혼합현실 화면을 생성하여 상기 디스플레이로 출력하는 명령어들(Instructions)을 포함하고,상기 혼합 현실 인터페이스부는,상기 디스플레이의 전면에 상기 2차원 이미지를 배치하고, 상기 2차원 이미지에 표시된 객체의 사각 영역의 중심점을 관통하여 상기 2차원 이미지의 후면에 배치된 3차원 메쉬 이미지를 향하도록 상기 광선을 발사하는, 단말
|
| 6 |
6
삭제
|
| 7 |
7
제5항에서,상기 프로그램은,상기 작업 지원 서버와 연동하여 동작하는 스마트폰 어플리케이션으로 구현되는, 단말
|
| 8 |
8
단말과 통신망을 통해 연결되는 통신 장치, 프로그램을 저장하는 메모리, 그리고상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,상기 프로그램은, 상기 단말로부터 수신한 실사 이미지로부터 실 객체를 검출하고, 검출한 실 객체의 3차원 위치를 나타내는 가상 객체 및 작업 지원 객체에 대한 작업 지원 정보를 상기 단말로 전송하고,상기 실사 이미지에 상기 검출한 객체의 사각 영역을 표시한 2차원 이미지를 생성하고,캡쳐한 위치를 기준으로 상기 2차원 이미지를 전면에 배치하고, 상기 2차원 이미지에 표시된 상기 사각 영역의 중심점을 관통하도록 상기 캡쳐한 위치에서 광선을 발사하며, 3차원 메쉬 이미지 상에 상기 광선이 맞닿는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 정보를 표시하는 명령어들(Instructions)을 포함하고,상기 가상 객체 및 상기 작업 지원 정보는,상기 단말에서 실사 이미지가 재구성된 상기 3차원 메쉬 이미지 상에 표시되는, 작업 지원 서버
|
| 9 |
9
제8항에서,상기 통신 장치는,상기 단말과 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP) 기반 소켓(Socket) 통신을 수행하는, 작업 지원 서버
|
| 10 |
10
제8항에서,상기 프로그램은,상기 실 객체에 대응하여 저장된 작업 지원 정보를 기초로, 상기 가상 객체 및 상기 작업 지원 정보를 생성하여, 상기 단말로 전송하는 명령어들(Instructions)을 포함하는, 작업 지원 서버
|
